🤖

서비스 로봇용 신규 Vision AI 응용 기술 개발

분야
머신러닝
Computer Vision
no
1
세부 설명
■ 연구 내용 · 서비스 로봇이나 Digital Signage 등에 적용 가능한 2D/3D 카메라 기반의 실시간 영상 처리 응용 기술 개발 (예시) 얼굴 감지, people tracking/count, gesture 인식, hand tracking, 실시간 영상에 대한 특수효과 적용 등 ■ 연구 목적 · Open Source 혹은 3rd Party SDK/library, 상용/외장 카메라 장비 등을 활용한 영상 처리 응용 기술의 prototype 개발 및 로봇 적용 가능성 테스트 → CPU & 메모리 점유율, 처리/반응 시간 등의 구체적 지표화 예정 (한정된 spec.의 로봇 H/W에 적용하기 위함) ■ 활용 계획 · 서비스 로봇의 핵심기능/흥미요소 구현을 위한 선행기술 확보 차원에서 활용 예정 · 개발된 핵심 내용은 당사 로봇 제품에 실제 적용 검토 (방역로봇, 서빙로봇 등) → 최종 산출물은 기존 로봇 제품에 적용할 수 있게 API 형태의 release가 목표 ■ 관련 경험/역량 · Intel RealSense, Azure Kinect DK 등의 depth sensing camera 및 관련 library 등을 활용한 실시간 영상처리 응용프로그램 개발 가능한 역량/경험 (C#, Python 추천)

01 멘토 소개

SKT__150x200.png
SKT__150x200.png

노경완

머신비전 기반의 로봇, 헬스케어, 산업용 자동화 장비 개발 경력 20년 이상
개발 및 제조 품질관리, 프로세스 혁신, 6시그마, 프로젝트 관리 등

김현태

IoT/Cloud/Data 솔루션 사업 기획/개발
유무선 인터넷 서비스 기획 및 시스템 개발

02 프로젝트 소개

기존 로봇 제품에 탑재된 Vision AI 소프트웨어 기능 개선 및 신규 기능 개발
▶ 신규/개선 필요 기능 (예시적 나열)
1.
카메라 시야 내 군중에 대한 마스크 착용 여부 검사 (부분적으로 몸이 겹쳐진 사람들 고려)
2.
카메라 시야 내 군중의 인원수/인접도 계산 (부분적으로 몸이 겹쳐진 사람들 고려)
3.
카메라를 향해 손 흔드는 사람을 marking하고 응답 하기(음성 인사)
4.
로봇 전면에서 "안녕", "Hello" 등의 음성인식되면 바로 응답 하기 (음성 인사)
5.
카메라 전면 6m 이내, 가장 앞에 있는 사람 영상에 가상의 의상/장식 등 부착 혹은 얼굴만 분리하여 AR 스티커 등 효과 설정 (대상자의 움직임에 연동하여 동작)
6.
Depth Camera로 인물에 대해 3D modeling하고, 결과물을 3D avatar로 보여주기 (※ 단, source video는 카메라가 탑재된 PC(로봇)에서 capture하고, 3D model은 분리된 server에서 processing하도록 구성)
(option 1) 카메라 전면에서 1명이 회전하면 스캐닝하기
(option 2) 복수의 depth camera를 이용하여 스캐닝하기
7.
로봇 전면 Touch screen을 누른 사람의 얼굴을 3D로 모델링
1.
결과물을 email로 당사자에게 전송
2.
결과물에 대한 3D Printing 서비스 연계 제공
8.
로봇의 카메라 앞으로 사람이 접근하면, 로봇 전면 모니터를 통해 3D Avatar로 인사하기
9.
손가락이 가리키는 위치와 동작을 인식하여 로봇 전면 모니터에 손대지 않고 멀리서도 터치와 같이 조작할 수 있는 가상 터치 기능 제공 (예시: Gestoos SDK)
10.
로봇 전면 카메라 앞으로 사람이 접근하면 해당 인물의 동작에 반응한 영상 효과 표시 (예시: 로봇 본체에 부착된 Addressable LED들을 폭포수 혹은 파도 같이 점등)
개발용 시스템 구성 (예시)
1.
Touch형 모니터 (24" 이상 / VESA Mount / HDMI Input / USB Input)
2.
이동식 TV 스탠드 (PC 등 추가 장비 거치 가능한 유형)
3.
Depth Sensing Camera (Intel L515, Intel D435, Azure Kinect DK, Tvico)
Intel RealSense D435, L515
Microsoft Azure Kinect DK
4.
Microphone & Speaker
6.
개발용 PC (최종 적용 모델은 Non-GPU PC 필요)
1.
Azure Kinect DK를 위한 NVIDIA GPU 내장 PC → 저전력 소형 PC로 구매 필요
2.
Intel NUC-PC 또는 Advantech PC (Intel Core I3, 16GB RAM 이상) → 1대 대여 가능
③ 추천 SDK (예시)
1.
3DiVi사의 NuiTrack AI + Tvico Camera
NuiTrack SDK : 3D body (skeletal) tracking middleware (https://nuitrack.com)
2.
3.
Gestoos Digital Signage Solution (https://gestoos.com/)
④ 개발 O/S 및 언어 : Windows 10 ; C# or Python 추천

03 이런 fellow를 찾습니다

Open CV, OpenVINO 등의 다양한 library/toolkit을 활용한 응용 프로그램 개발 경험 있는 분
상용 Library 활용도 고려할 수 있습니다
Intel RealSense, Azure Kinect DK 등의 depth camera를 활용한 실시간 영상 분석/처리 등의 기능 구현이 가능한 분