노년층 발화 음성 다중모달 그래프 표현학습 기반 감정 인식

포스터

저자 김대현, 이민석, 이동혁, 김채민, 박성수, 손재혁, 박철수, 이창현, 이기백, 권새힘, 손량희, 최영석

우수 포스터상

연구 내용

66~81세 참여자 24명의 7개 감정, 1,512개 발화를 수집했다. 음성과 텍스트 유사도 그래프를 SNF로 융합한 뒤 GCN으로 분류하고 음성 전사 오류의 영향을 비교했다.

피험자 독립 4-fold 평가에서 원문과 음성 융합의 weighted F1은 92.33%, 전사문과 음성 융합은 81.38%. 해당 조건에서는 음성 추가로 전사 오류에 따른 성능 저하를 회복하지 못했다.