인간-기기 인과적 공명 학습을 위한 이중 스트림 경량 상호작용 파운데이션 모델 개발
연속 생체신호 인코더와 대화 모델을 연결하는 이중 스트림 구조를 연구한다.
01 / RESEARCH DETAILFR-PTT 혈압 추정과 생체신호 인코더
- 아이디어
- 얼굴 8개 부위의 28개 PTT와 파형 형태를 파형 인코더에 결합해 혈압 관련 정보를 보완했다.
- 기여
- FR-PTT 모델을 공동 개발했으며 IJCNN 2026 구두 발표 논문에 제2저자로 참여했다. 생체 상태 표현과 LLM 인터페이스를 연구하고 있다.
- 확장 범위
- 연계 인코더를 바탕으로 상호작용 모델을 연구한다. 이중 스트림의 최종 구조와 지연 평가는 진행 중이다.
| 평가 데이터 | SBP MAE | DBP MAE |
|---|---|---|
| VitalVideos | 13.13 | 7.56 |
| V4V | 12.16 | 8.96 |
평가 조건 및 연구 범위FR-PTT의 VitalVideos 및 V4V 평가 결과. 이중 스트림 파운데이션 모델은 연구 중.