🙂

Multi-modal 감정 인식 AI 모델 개발

분야
딥러닝
자연어처리
디지털 신호처리
머신러닝
시계열 데이터
no
10
세부 설명
■ 연구 내용 1) 스마트폰(Voice/Text)과 스마트워치(ECG, 가속도 센서 등) 센서 데이터를 이용한 감정 인식 2) 오디오에서 언어적 감정 feature(Text), 2차 특징(음색/톤 등) 감정 feature(Voice) 추출 3) 스마트워치의 ECG의 맥박 정보 혹은 Acceleration 에서 감정 feature 추출 4) 이를 적당하게 잘 Fusion하여 관심 감정 (예: Stressed, Depressed, Happy, Relaxed)을 정확하게 인식하는 인식 정확도 고도화를 목적으로 함 ■ 연구 목적 1) Multi-modal 센서 데이터로 부터 감정 인식 정확도 고도화가 목적 2) 1차 Benchmark Dataset에서 테스트 (한국어 감정 데이터, IEMOCAP, Naver 영화 리뷰 데이터 셋 등) 3) 2차 진행하면서 관련 Challenge 참가 진행 여부 결정 4) 성능에 도움이 되는 센서 데이터만 선택적으로 활용 가능 ■ 연구 활용 · 성능(인식 정확도/실 시간성) 확보 시, 디지털 치료제, 명상 앱 등으로 SKT 사내 앱 활용 예정 ■ 관련 경험/역량 · Speech 또는 Text 또는 Wearable 데이터 처리 경험 · 감정 인식 AI 연구 경험

01 멘토 소개

20200904_110015_IMG_0129.jpg

김창현

Emotion AI, Music AI
안녕하세요. 저는 SKT에서 현재 Emotion AI 기술을 연구/개발하고 있는 김창현 PM 입니다. 그간 다양한 Music AI 기술도 관심 있게 연구를 하여 다음과 같은 연구 성과들을 거두었습니다.
外 Music AI 와 오디오 관련 기술 특허 6편 등

02 프로젝트 소개

본 감정 인식 프로젝트는 사람의 감정이 러셀의 감정원형모델을 기반으로 연속적인 감정을 나타내는 특성을 구간 별로 카테고리를 크게 나누어 선정된 4~7개 사이의 특정 감정을 정확히 인식해내는 기술을 개발하고자 합니다. 여기에 사람의 Voice/Text/Wearable (ECG, Acc) 데이터를 입력으로 인식하는 ML/DL 모델을 개발하는 것 까지로 단기 프로젝트를 진행하고자 합니다. 성능은 기존에 나와 있는 Benchmark 데이터셋을 활용할 계획이나, 가능하면 관련 Emotional AI Challenge("EmotivW" 추천)에 참가하는 것으로 성능을 직접 평가하고자 합니다. 이렇게 고도화된 알고리즘은 사내 기획/개발 중인 Mental Wellbeing Platform에 탑재 되어 상용화를 타깃으로 합니다.

03 이런 fellow를 찾습니다

Tensorflow, Pytorch 등 딥러닝 프레임워크를 다룰 줄 아시는 분중에 감정 인식에 폭 빠져보고 싶으신 분
감정 인식의 멀티모덜 데이터를 잘 선별 해서 필요한 정보를 인식에 활용할 줄 아는 sense를 가지고 계신 분
Project ownership을 가지고 주체적으로 진행 할 의지가 있으신 분