Search
🔊

콘텐츠 분석을 위한 오디오 기반 상황인식 정보 분석 기술 개발

01 멘토 소개

김동원

멀티미디어 프레임워크, 서버, 플레이어, 코덱 개발
ML기반 음원 분리 기술 개발

이승진

T3K Media Tech Content Discovery 팀
FLO/Btv 개인화 추천 기술 개발
유사곡 탐색, 음악 자동 태깅 등 음원 분석 기술 개발
오디오 기반 콘텐츠 하이라이트 자동 생성 기술 개발

02 프로젝트 소개

저희는 아래와 같은 기술을 개발하고자 합니다.
콘텐츠 향유 경험을 강화하고 정보격차를 해소하기 위해서는 콘텐츠의 오디오(또는 오디오-비쥬얼) 정보를 활용하여 위와 같이 상황/분위기 정보를 자막화하는 기술이 필요합니다.
이를 위해 오디오 신호처리, 딥러닝 모델 개발 과정이 필요하며, 이와 관련하여 DCASE와 같은 학술대회가 있습니다. https://dcase.community/challenge2021/index
Google AudioSet 등 공개된 데이터셋으로 모델 개발 후 스포츠/영화/드라마 등 SKT가 보유한 방송 콘텐츠들로의 활용 가능성을 모색합니다.
저희는 아래와 같은 활용 계획을 가지고 이 프로젝트를 시작하고자 합니다.
청각장애인을 위한 '베리어 프리'(barrier free) 서비스
콘텐츠 내의 소리(비 소리, 바람 소리, 자동차 소리, 배경 음악의 분위기 등)를 인식하고 이를 자막으로 제공하여 청각장애인들의 콘텐츠 향유 경험 강화 및 정보격차 해소에 기여하고자 합니다.
콘텐츠 하이라이트 자동 생성 서비스에 활용
콘텐츠 내의 소리(함성 소리, 총 소리, 배경 음악의 분위기 등)를 인식하고 이를 메타 데이터화 하여 콘텐츠 하이라이트 자동 생성에 활용하고자 합니다.

03 이런 fellow를 찾습니다

딥러닝 기반의 오디오 데이터 분석 경험이 있으신 분
최신 딥러닝 기술 동향에 관심이 많으신 분
(optional) 멀티모달(audio-visual) 로 문제를 해결하고 싶으신 분