📦

Kinect 데이터 기반 스마트 물류 자동인식 기술 개발

분야
머신러닝
딥러닝
Computer Vision
no
9
세부 설명
■ 연구 목적 · 물류 창고에 적재된 무거운 상자를 사람이 아닌 로봇을 통해 옮기기 위해 Azure Kinect 영상 데이터를 활용한 물류 상자 자동 인식 ■ 연구 내용 · 아래 주제 중 일부 선정하여 연구 1) Weakly Supervised Learning(WSL)* 기반의 Instance Segmentation 모델 개발 구현 *WSL: 정보가 적고 생산이 쉬운 annotation을 학습하여 더 복잡한 task를 수행하도록 하는 학습 방법 (예: bounding box를 학습한 모델로 segmentation 수행) 2) Few Shot Learning(FSL)* 기반의 Object Detection 모델 개발 연구 구현 *FSL: 기존 학습 데이터에 포함되지 않은 새로운 class에 대해서 매우 적은 양의 Data를 추가 학습하여 새로운 class를 인식하게 하는 학습 방법 3) Point cloud 데이터 기반의 3D Instance Segmentation 모델 개발 구현 ■ 연구 활용 · 영상의 물류 상자 인식 결과를 스마트 물류 로보틱스 플랫폼에 연동하여 로봇 제어에 활용 ■ 관련 경험/역량 · OpenCV library 및 Pytorch/Tensorflow 기반 object detection model 개발 경험, RGB+Depth 영상 분석 경험

01 멘토 소개

iOS_.jpg

김지훈

Vision AI Labs
대학원 석사과정으로 3D SLAM 관련 연구를 진행하였고, 이후 ML과 DL을 활용한 얼굴인식과 사물인식 관련 과제를 주로 진행하였고, 현재 Vision AI Labs에서 물류 분야의 Few-shot object detection 과제를 수행하고 있습니다.
Lee_Sungmin_860810.jpg

이성민

Vision AI Labs
대학원 박사과정에서 의료영상 분석을 위한 머신러닝을 전공하였으며, 현재 SKT Vision AI Labs에서 스마트 팩토리 및 물류 분야 과제를 수행하며 object detection, instance segmentation 방법들을 개발하고 있습니다. 최신의 머신러닝 방법을 real data에 적용해보며 함께 문제를 해결해 나갈 수 있는 인재와 만나길 기대합니다.
Untitled.png

이세훈

Vision AI Labs
대학원 박사과정에서 Video 데이터 분석을 전공한 후 SKT에 입사하여, 현재는 Vision AI Labs에서 스마트 팩토리 및 물류 분야의 다양한 Image 데이터 분석 과제를 수행하고 있습니다. 적극적으로 새로운 문제를 해결하는 젊은 인재와 만나길 바랍니다.

02 프로젝트 소개

아마존과 같은 글로벌 스마트 물류 센터에서는 다양한 로봇을 이용하여 창고내 물류 이동을 하고 있습니다. SKT에서도 국내 이커머스 기업과 협업하여 스마트 물류 센터 구축을 시도 중이며 현재 로봇팔로 물류 상자를 하차하는 시범 과제를 진행중에 있습니다. 로봇 팔을 사용해 물류 상자를 이동하려면 Machine Vision 시스템을 통해 상자 인식을 하는 것이 첫 단계입니다. 현장에서는 다양한 상자가 끊임없이 들어오므로 최소한의 데이터와 최소한의 labeling을 통해 빠른 학습을 필요로 하고 있습니다.
여러분은 키넥트 카메라를 사용해서 직접 물류 상자 사진 데이터를 취득하고 직접 labeling하며 딥러닝 모델을 학습하여 물류 상자를 인식하는 문제를 풀게 됩니다. 현장에서의 다양한 요구사항을 반영하여 저희는 다음과 같은 세가지 문제를 제안합니다.
1.
Weakly Supervised Learning(WSL)* 기반의 Instance Segmentation 모델 개발 구현 Object detector 학습을 위한 데이터 label에는 크게 bounding box나 pixelwise label annotation이 있습니다. Pixewise label은 더 큰 시간과 노력을 필요로 하기에, instance segmentation 모델을 학습하여 bounding box 정보로부터 pixelwise label을 얻는 문제입니다.
2.
Few Shot Learning(FSL)* 기반의 Object Detection 모델 개발 연구 구현 물류 센터에는 수십만종 이상의 상자들이 있습니다. 이 모든 상자들에 대한 다량의 데이터를 확보하여 학습하는 것은 비현실적이어서 새로운 상자들이 입고될때마다 소량의 데이터를 취득하여 모델을 빨리 업데이트 하는 것이 중요합니다.
3.
Point Cloud 데이터 기반의 3D Instance Segmentation 모델 개발 구현 로봇 제어를 위해서는 물류 상자의 현실 좌표계의 정확한 좌표 정보가 필요합니다. RGBD 사진 데이터에서 상자를 인식하면 이를 현실 좌표계로의 변환이 필요한데, 이러한 추가과정을 없애기위해 RGBD 이미지 정보가 아닌 (x, y, z) 좌표로 구성된 상자 표면의 point cloud 데이터를 사용하여 상자를 각각 segmentation하는 문제입니다.

03 이런 fellow를 찾습니다

OpenCV library 및 Pytorch/Tensorflow 기반 object detection model 개발 경험이 있는 분
RGB+Depth 이미지 및 Point Cloud 데이터 분석 경험이 있는 분
다양한 논문 및 오픈 소스 코드 활용 경험이 있는 분