👀

AI 기반 카메라 위치 추정 및 광고판/간판 검출 기술 연구

분야
머신러닝
딥러닝
Computer Vision
no
7
세부 설명
■ 연구 내용 · 스마트폰 카메라 이미지를 이용하여 카메라 위치/방향을 추정하고, 광고판/간판을 검출하는 기술 연구 1) 3차원 영상 특징점 맵(사전 제공)에서 입력 이미지에 대한 카메라 위치/방향을 추정하기 위한 end-to-end 딥러닝 학습 기반 추론 모델 구현 2) 실내/외 사진에서 광고판/간판에 해당하는 영역을 바로 instance segmentation 하거나, detection 기법을 이용하여 광고판/간판 프레임의 위치와 모양을 (polygon의 좌표) 결과로 얻는 딥러닝 추론 모델 구현 ■ 활용 영역 · 물체에 대한 3D 모델 생성 · 실내 로봇(로봇청소기, 서비스 로봇, 자율주행 자동차, 드론 등) 자율 주행 · 실내 보행자 길 안내 · AR의 Smart glass 위치의 실시간 추정 ■ 관련 경험/역량 · 이미지 기반 딥러닝 모델 구현 경험

01 멘토 소개

1.jpg

성성현

5GX Location Labs
대학원 석사과정 Machine Learning/Deep Learning 분야 연구
현재 SLAM 팀에서 딥러닝 기반 Image Feature Matching 기술 개발 담당

02 프로젝트 소개

2D 이미지와 Cloud 서버에 저장된 3차원 Visual-Geo DB와 비교하여 정밀 측위를 제공하는 기술 연구 프로젝트
3차원 Visual-Geo DB는 Visual SLAM(Simultaneous localization and mapping) 기술을 활용하여 미리 구축된다.
사용자의 스마트폰을 통해 서버로 전송된 이미지를 분석하여 특징점을 추출하고, 이를 3차원 Visual-Geo DB와 비교해 위치와 방향을 제공한다.
목표
기존 기술은 Nearest neighbor, PnP(Perspective-n-Point)와 RANSAC과 같은 알고리즘을 활용했는데, 이를 개선하는 end-to-end 딥러닝 학습 기반 추론 모델을 개발하는 것.
광고판/간판 등 알고리즘 성능 저하에 기여하는 요소를 제거하기 위해 Instance Segmentation 및Detection하는 것. (따라서 임의의 모든 광고판/간판을 검출하는 것이 목표)
이 기술은 추후 실내 도보 네비게이션, 위치 공유, Smart Building/Factory, 로봇/드론, 대면적 AR 서비스 등에 활용 가능하다.
DB 형태
point cloud 제한적으로 제공, 가능할 시 camera pose를 포함한 image 제공
_.jpg
3차원 Visual-Geo DB를 활용한 카메라 위치 추정 예시(Google Maps)

03 이런 fellow를 찾습니다

이미지 기반 딥러닝 모델 구현 경험이 있으신 분
최신 딥러닝 기술 동향에 관심이 많으신 분