Multimodal Emotion Recognition Based on Global Information Fusion in Conversations
구두
- 학술지/학회
- ITC-CSCC 2024
- 저자 역할
- 제1저자
- 연도
- 2024.07
연구 내용
음성, 영상, 텍스트 사이의 긴 문맥을 Multimodal Transformer로 융합했다. RGCN에 화자 내부, 화자 간, 모달 간 관계를 반영해 대화의 발화별 감정을 분류했다.
결과
IEMOCAP 6개 감정 분류에서 정확도 68.21%, weighted F1 68.17%. 비교 모델 COGMEN의 weighted F1은 67.60%.
전체 논문 목록