01 멘토 소개
박용현
•
AIX Media R&D Media Platform팀
•
AI Cloud Production 시스템 개발
•
AI 영상 자동 트래킹 시스템 개발
박노갑
•
AIX Media R&D Media AI 팀
•
AI 기반 영상 복원 모델 개발
•
AI 기반 3D 비젼 모델 개발
김현지
•
AIX Media R&D Media Platform팀
•
AI 기반 영상 화면 분석 및 개발
02 프로젝트 소개
저희는 이번 프로젝트를 통해 아래와 같은 기술을 개발하고 싶습니다.
•
NeRF(Neural Radiance Fields) 모델은 Deep Learning 기반으로 2D 이미지를 3D 영상으로 변환해주는 모델입니다. 카메라로 촬영된 2차원 사진들을 바탕으로 3차원의 입체적인 공간 구조와 새로운 시점의 영상을 만드는 기술입니다.
출처: NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 논문
•
기존의 경우 3D 이미지/영상을 만들기 위해서는 언리얼/유니티 엔진 기반으로 특수장비, 전문 지식, 숙련된 작업이 필요하며 시간과 비용이 많이 소요되었습니다.
•
기존 작업 방식 대비 여러장의 사진만으로 고화질 3D 영상을 생성하는 AI 기반 고화질 3D 변환 기술이 필요하며, 이러한 기술을 통해 생산성과 효율성을 크게 개선할 것으로 기대하고 있습니다.
•
최근 NeRF 기술들의 한계점과 문제점을 연구하고 개선된 모델을 개발하여 SK텔레콤 미디어 서비스에 활용 가능성을 알아보고 효용성을 검증하고자 합니다
저희는 이번 프로젝트를 통해 아래와 같이 서비스 활용 가능성을 알아보려고 합니다.
•
고화질 3D 영상/배경 제작에 활용
◦
고화질 3D 영상 및 배경이 필요한 Virtual Production, Media Production 과정에서 프로젝트를 통해 개발된 기술을 활용하여 생산성과 효율성을 크게 개선하고자 합니다.
▪
•
인물, 물체 오브젝트 대상 3D 영상 기반 신규 미디어 서비스 발굴
◦
3D 배경 외에도 인물, 물체 등 다양한 오브젝트들의 3D 이미지/영상을 생성하는 기술을 기반으로 신규 미디어 서비스를 구상하고 검증하려고 합니다.
▪
NVIDIA Instant Nerf 는 즉석사진 몇장을 기반으로 사람의 3D 모델을 재현합니다.(참조 https://blogs.nvidia.com/blog/2022/03/25/instant-nerf-research-3d-ai/)
▪
Nerf 의 기술 범주를 Implicit Models 라고 하는데, 재밌는 응용이 많습니다. CVPR 2022에 발표된 Neural Head Avatar 는 자신의 비디오를 사용해 자신의 아바타을 만듭니다. (참조 https://github.com/philgras/neural-head-avatars)
03 이런 Fellows를 찾습니다
•
Deep Learning 기반의 이미지/비디오 프로세싱 경험이 있으신 분
•
Generative AI, NeRF 등 최신 AI 기술에 관심이 많으신 분
•
미디어 분야 신규 서비스에 관심이 많고 기발하고 차별화 아이디어가 많으신 분
FAQ
Q) 본 과제는 고화질 NeRF의 서비스 활용 가능성 확인에 초점이 맞춰져 있다는 생각이 드는데요,
현재 NeRF의 high level application인 NeRF segmentation, editing 혹은 generation과 관련된 주제들로 연구 계획을 세우고 있는데,
이러한 주제들도 해당 프로젝트에 적합한지요?
A) 말씀주신 NeRF기술을 응용하는 segmentation, editing도 좋은 연구 주제입니다.
NeRF 기술은 현재 활발하게 연구되고 있는 주제지만 상용화를 위해서는 부족한 점과 명확한 한계점이 있습니다.
이러한 한계점들로 NeRF 기술을 활용하여 실제 서비스를 하기 위해서는 검수 및 편집이 중요하기 때문에,
해당 주제들을 어떻게 활용할 수 있을지에 대한 내용으로 제안해 주셔도 좋을 것 같습니다.