02 / 06·STFTransNet · 2025 · 제1저자

얼굴이 가려지고 조명이 바뀌어도 버티는 운전자 부주의 상태 인식

STFTransNet: A Transformer Based Spatial Temporal Fusion Network for Enhanced Multimodal Driver Inattention State Recognition System

저자
Minjun Kim, Gyuho Choi
상태
Sensors (SCIE) 게재
인용
Sensors, 2025, 25(18), 5819
키워드

Driver Inattention State Recognition · Partial Occlusion · Cross-Attention · TCN · Multimodal Fusion

Problem

마스크나 선글라스로 얼굴이 가려지거나 조명이 바뀌면 모델이 운전자 상태를 놓칩니다.

운전자가 액세서리를 착용해 얼굴 특징이 부분적으로 가려지거나, 차량 내외부 조명 변화로 빛이 산란해 순간 해상도가 떨어지면 기존 졸음 검출 시스템은 상태를 인식하지 못합니다. 얼굴만 보는 접근으로는 실제 주행 환경의 졸음과 부주의를 함께 감당할 수 없었습니다.

Solution

  1. 01

    얼굴 랜드마크 기반 행동 특징 추출MediaPipe Face Mesh

    얼굴 랜드마크를 추출해 눈·입·고개의 다중 행동 특징을 확보하고, 가려짐에 따라 일부 특징이 사라져도 나머지로 판단할 수 있는 입력 구성을 만들었습니다.

  2. 02

    얼굴 · 신체 상호 참조 융합two-stream · cross-attention

    운전자의 얼굴 영상과 행동 영상을 두 스트림으로 분리해 각각의 공간 특징을 학습한 뒤, cross attention으로 서로를 참조하게 했습니다. 한쪽이 가려지면 다른 쪽이 보완합니다.

  3. 03

    시간 특징 추출TCN

    추출된 특징의 시간 축 변화를 TCN으로 학습해, 순간적인 화질 저하가 판단을 흔들지 않도록 했습니다.

  4. 04

    공간 · 시간 특징 앙상블

    공간 특징과 시간 특징을 앙상블해 최종 운전자 상태를 분류합니다.

Figures

전체 아키텍처 — 얼굴·행동 two-stream을 cross-attention으로 묶고 TCN으로 시간 축을 더합니다.공간 정보와 시간 정보를 따로 뽑아 마지막에 합칩니다. 시간 모델링이 흔들리는 구간에도 프레임 단위 판단이 남도록, TCN 출력에 공간 특징을 residual로 더했습니다.
Cross-attention — 얼굴 특징이 query, 원본 영상 특징이 key·value입니다.두 스트림을 같은 비중으로 섞지 않고 한쪽을 질의로 둔 비대칭 구조입니다. 그래서 얼굴 단서가 약한 구간일수록 전신 영상 쪽 정보가 더 많이 끌려옵니다.
성능 비교 — 정확도·F1-score와 파라미터·FLOPs를 함께 놓았습니다.정확도만 놓고 고르면 무거운 모델이 유리하므로 비용 축을 같이 뒀습니다. 공개 데이터 3종 모두에서 기존 방법을 넘으면서 파라미터와 연산량은 더 낮은 지점을 찾았습니다.

Result

+4.56%p vs VBFLLFA
NTHU-DDD
+3.48%p vs InceptionV3+HRNN
StateFarm
+3.78%p vs VBFLLFA
YawDD
국내 특허 출원
연계 성과

공개 데이터 3종 모두에서 기존 방법을 상회했습니다. 이 연구를 바탕으로 국내 특허(10-2025-0107230)를 공동발명자로 출원했습니다.