🃏

Self-supervised Learning on Billion Unlabeled Image Data 및 Full Stack Product

분야
머신러닝
딥러닝
Computer Vision
no
6
세부 설명
■ 연구 내용 · Self-supervised Learning 분야의 SOTA(State-Of-The-Art) 기술 활용 및 검증 ■ 연구 목적 · Large Scale (over 1 billion images) 이미지 데이터 기반 Self-supervised Learning 기술의 가능성 및 효용성 검증 · SKT Vision AI Vertical Full Stack 기반 상용 적용 개발(Service Offering) ■ 활용 영역 · 사람의 참여가 어렵고(Highly Secure), 사람이 개입 시 효율성이 극명하게 떨어지는(Billion-scale Unlabeled Data) Computer Vision 응용 기술 분야(object detection/classification 등)에 적용 ■ 관련 경험/역량 · Computer Vision Application 개발 경험 / 딥러닝 모델 학습 경험 / Python Programming

01 멘토 소개

김범준

안녕하세요. SKT 연구 조직인 T3K 내 Vision AI Product개발팀에서 Vision AI관련한 시스템 개발을 맡고 있습니다. 서로 가진 경험과 열정을 나누고 같이 발전하는 계기로 만들어봐요. 🙂

안대기

안녕하세요.😉 음성인식 Device NUGU 사업에서 Device 개발 및 양산화를 담당하였고, 현재 Tech Acceleration팀에서 SKT 기술자산 기반 Full Stack 상품화를 담당하고 있습니다.✌

02 프로젝트 소개

보통 Self-Supervised Learning은 다른 paper와 비교를 위한 벤치마킹 데이터셋으로 ImageNet이나 COCO와 같은 Public Database를 사용하기 때문에 구분력을 가지게 만들어야 하는 클래스가 매우 다양합니다. 이번 과제에서는 Public DB를 활용하여 모든 클래스의 성능을 높이는 것이 아닌 “person 클래스에 대한 성능”만을 높이는 것으로 task를 단순화했습니다. (물론 person 하나의 클래스 성능을 높이기 위해 1-class 모델을 사용 하셔도 좋고 multi-class 모델을 사용 하셔도 좋습니다.)
Self-Supervised Learning이란 기본적으로 “다수의 unlabeled data” 혹은 “소수의 labeled data와 다수의 unlabeled data”를 활용하여 다수의 labeled data를 활용한 것과 얼마나 비슷한 성능을 낼 수 있는가에 도전하는 문제입니다. person과 같은 feature는 너무 유명하고 이미 정복된 분야라고 생각하실 수 있지만, 다양한 배경/조도/물체에 따라 많은 false alarm이 발생 할 수 있습니다. (곤충, 그림자 등)
저희는 이런 문제를 해결하기 위해 다양한 환경의 데이터를 구매하고 이에 대한 Annotation을 맡겨서 문제를 해결하고 있지만, 데이터를 labeling하는 것은 막대한 시간과 비용을 필요로 하기 때문에 large scale의 unlabeled 데이터가 있다고 하더라도 활용하는 것은 쉽지 않습니다.
본 과제는 이런 pain-point를 해결하는 실마리를 찾는 것을 목표로 하고 있습니다. Open Image dataset이나 COCO와 같은 Public DB의 person 이미지 만을 활용하여 label 없이 person의 성능을 얼마나 향상 시킬 수 있는지 기 구현된 프레임워크(VISSL)를 활용해 검증 해보고, 추가로 여력이 된다면 Object Detection영역으로 확장해 보는 것을 목표로 하고 있습니다. 보통 Self-Supervised Learning 챌린지에서는 “1% labeled / 99% unlabeled”, “10% labeled / 90% unlabeled”와 같이 데이터를 나눠 활용하곤 합니다. 이런 부분은 과제를 시작하며 논의하면 될 것 같습니다.
저희의 목표는 알고리즘의 성능을 1%, 2% 올리는 것이 아니고, Self-Supervised Learning의 최신 트렌드 및 프레임워크를 파악하고 익혀서 잘 사용할 수 있도록 하는 것입니다. 그리고 이 부분에 집중 하는 것이 저희와 fellow분들의 성장 면에서 더 큰 의미가 있을 것이라고 생각합니다. 🙂
Self-supervised Learning 기술 활용 Person Classification 기술 검증
Self-supervised Learning 분야 SOTA 기술 Survey : https://arxiv.org/pdf/2006.10029v2.pdf
SOTA 기술 포함 Framework Tutorial 학습 : https://vissl.ai/tutorials/
Target Dataset (ImageNet)에서의 SOTA 기술(SimCLRv2) 활용 Person Classification 검증
Billion Scale Image Dataset(Private)에서의 구현 SOTA 기술 모델 적용 및 검증 (w/SKT)
상용 응용 분야 내 SOTA 기술 활용 Object Detection 기술 및 SOTA 알고리즘 추가 검증 (Optional)
Self-supervised Learning 기술 적용 계획
AI 기반 Vertical Full Stack (AI Chip - AI Framework - AI Application 등) 관련 Project에 적용
Large-scale Dataset 기반 Global Hyper Scale 업체(Amazon, Google, MS)의 현황 및 미래 기술 조사
framework 사용은 필수 사항은 아닙니다. 코드가 공개되어 있지 않은 논문이라도 직접 구현하거나 아이디어를 반영하는 것은 자유입니다.

03 이런 fellow를 찾습니다

Large-scale Image Dataset에서의 실질적인 산업 문제를 풀고 바로 해당 산업 분야에 취업 역량을 보유하실 분
노동 집약적인 라벨 기반의 Supervised Learning 기술이 아닌 현재 AI 주류 기술인 Self-supervised Learning 기술 학습을 원하시는 분
Vision AI 산업 이해와 Computer Vision Application 개발 경험 / 딥러닝 모델 학습 경험 / Python Programming 과 함께 상용 적용 개발에 도움을 주실 분