원격 광용적맥파 신호 기반 1D 컨볼루션-트랜스포머 하이브리드 모델을 활용한 강건한 딥페이크 탐지
구두
연구 내용
BiSeNet으로 피부 영역을 분리하고 PhysNet으로 rPPG를 추출했다. 1D CNN의 국소 시간 특징과 Transformer의 전역 의존성을 결합해 실제 영상과 합성 영상을 분류했다.
원본 그림 확대
결과
FaceForensics++와 CelebV-HQ 기반 실험. 학습, 검증, 평가를 6:2:2로 분할했으며, 합성곱 3개 구성의 정확도는 88.58%. Transformer 단독은 84.95%.
전체 논문 목록