비대면 환경 사용자의 정량적 감정-감성 평가모델 개발 및 양방향 디지털콘텐츠 적용 상용화
노년층 발화 데이터를 구축하고 음성 및 텍스트의 그래프 융합을 평가했다.
01 / RESEARCH DETAIL노년층 감정 발화와 전사 오류
- 난제
- 노년층 발화 특성과 음성 전사 오류가 텍스트 중심 감정 분류에 미치는 영향을 확인해야 한다.
- 해결
- 고정 문장 발화를 수집하고 음성, 원문, 전사문을 동일한 피험자 독립 분할에서 비교했다.
- 기여
- IRB 및 감정 유발 프로토콜을 설계하고 모델을 공동 개발했다. 과제 데이터 구축과 기업 기술이전을 담당했다.
원본 그림 확대
| 수집 / 평가 | 실험 조건 |
|---|---|
| 노년층 실험 | 24명, 66 ~ 81세 |
| 발화 구성 | 7개 감정, 1,512개 발화 |
| 평가 / 산출물 | 피험자 독립 4-fold / 우수포스터상 |
평가 조건 및 연구 범위고정 문장 발화 실험의 결과. 전체 과제는 80명 이상 수집, 기술이전 2,000만원
02 / RESEARCH DETAILEmotionHeart / 대화 관계 학습과 모달 결손 대응
- 난제
- 화자 관계와 모달 간 차이를 함께 반영하고 특정 입력이 빠진 상황에서도 문맥을 유지해야 한다.
- 해결
- 화자 내부, 화자 간, 모달 간 관계를 구분해 인코딩했다. 증강 없는 대조 정렬로 입력 간 의미 차이를 줄였다.
- 기여
- 이종 그래프와 정렬 손실을 설계하고 모달 결손 조건을 평가했다. ICASSP 2026에 제1저자로 발표했다.
| 평가 조건 | 기준 모델 | 제안 모델 |
|---|---|---|
| IEMOCAP 전체 | 68.99 | 73.13 |
| MELD 전체 | 66.75 | 68.99 |
| IEMOCAP 음성만 | 54.09 | 60.26 |
평가 조건 및 연구 범위Weighted F1 (%). 전체 입력 기준 모델은 Transformer, 음성만 조건은 GRACE. 10회 랜덤 분할 평균