01 멘토 소개
김동원
•
멀티미디어 프레임워크, 서버, 플레이어, 코덱 개발
•
ML기반 음원 분리 기술 개발
이승진
•
T3K Media Tech Content Discovery 팀
•
FLO/Btv 개인화 추천 기술 개발
•
유사곡 탐색, 음악 자동 태깅 등 음원 분석 기술 개발
•
오디오 기반 콘텐츠 하이라이트 자동 생성 기술 개발
02 프로젝트 소개
저희는 아래와 같은 기술을 개발하고자 합니다.
•
콘텐츠 향유 경험을 강화하고 정보격차를 해소하기 위해서는 콘텐츠의 오디오(또는 오디오-비쥬얼) 정보를 활용하여 위와 같이 상황/분위기 정보를 자막화하는 기술이 필요합니다.
•
이를 위해 오디오 신호처리, 딥러닝 모델 개발 과정이 필요하며, 이와 관련하여 DCASE와 같은 학술대회가 있습니다.
https://dcase.community/challenge2021/index
•
Google AudioSet 등 공개된 데이터셋으로 모델 개발 후 스포츠/영화/드라마 등 SKT가 보유한 방송 콘텐츠들로의 활용 가능성을 모색합니다.
저희는 아래와 같은 활용 계획을 가지고 이 프로젝트를 시작하고자 합니다.
청각장애인을 위한 '베리어 프리'(barrier free) 서비스
•
콘텐츠 내의 소리(비 소리, 바람 소리, 자동차 소리, 배경 음악의 분위기 등)를 인식하고 이를 자막으로 제공하여 청각장애인들의 콘텐츠 향유 경험 강화 및 정보격차 해소에 기여하고자 합니다.
콘텐츠 하이라이트 자동 생성 서비스에 활용
•
콘텐츠 내의 소리(함성 소리, 총 소리, 배경 음악의 분위기 등)를 인식하고 이를 메타 데이터화 하여 콘텐츠 하이라이트 자동 생성에 활용하고자 합니다.
03 이런 fellow를 찾습니다
•
딥러닝 기반의 오디오 데이터 분석 경험이 있으신 분
•
최신 딥러닝 기술 동향에 관심이 많으신 분
•
(optional) 멀티모달(audio-visual) 로 문제를 해결하고 싶으신 분