03 / 06·PRISM-MTL · 2026 · 제1저자

태스크마다 필요한 모달리티만 골라 융합하는 멀티태스크 주행 인식

PRISM-MTL: Inter-Modal Selective Multi-Task Learning for Assistive Driving Perception

저자
Minjun Kim, Gyuho Choi
상태
Mathematics (SCIE) 게재
인용
Mathematics, 2026, 14(15), 2812
키워드

Multi-Task Learning · Multimodal Fusion · Negative Transfer · ADAS · AIDE

Problem

운전자 상태와 교통 상황을 함께 배우면 필요한 단서들이 서로 달라 한 학습이 다른 학습의 성능을 떨어뜨립니다.

ADAS는 운전자 감정(DER)·행동(DBR)과 교통상황(TCR)·차량 거동(VBR)을 함께 이해해야 하지만, 기존 연구는 각 태스크를 단일 태스크 학습으로 따로 설계해 태스크 간 상호작용을 반영하지 못했습니다. 네 태스크를 한 모델에서 공동 학습하면 태스크마다 필요한 단서가 달라 서로 간섭하는 negative transfer가 발생합니다.

Solution

  1. 01

    영상 · 관절 특징 추출HSA-Net · Token-SE

    계층적 단계별 어텐션으로 다중 시점 영상에서 전역 구조 패턴과 핵심 공간 영역을 단계적으로 강조해 시각 모달리티 토큰을 추출합니다. Token-SE는 관절 데이터의 공간 구성을 반영한 joint modality token을 생성합니다.

  2. 02

    태스크별 센서 선택 융합TSMF

    학습 가능한 태스크 토큰이 멀티모달 토큰을 참조해, 각 태스크에 실제로 유효한 모달리티 단서만 선택적으로 강조하는 태스크별 융합 특징을 만듭니다. 이 지점이 negative transfer를 직접 겨냥한 설계입니다.

  3. 03

    시간 축 요약과 태스크별 예측

    생성된 태스크별 융합 특징을 temporal mean pooling으로 요약한 뒤, 각 태스크 헤드가 운전자 상태와 교통상황을 예측합니다.

Figures

전체 아키텍처 — 5개 모달리티가 HSA-Net·Token-SE 인코더를 거쳐 TSMF에서 태스크별로 선택 융합됩니다.왼쪽에서 얼굴·신체·장면은 HSA-Net이, 자세·제스처는 Token-SE가 토큰으로 만듭니다. 다섯 토큰이 한자리에 모인 뒤에야 태스크별로 갈라지는데, 그 갈라지는 지점이 오른쪽 TSMF입니다.
TSMF — 태스크 토큰이 query, 모달리티 토큰이 key·value로 들어갑니다.태스크마다 학습 가능한 토큰을 하나씩 두고, 그 토큰이 다섯 모달리티 중 자기에게 필요한 쪽에만 가중치를 싣습니다. 운전자 감정은 얼굴 쪽으로, 교통상황은 장면 쪽으로 쏠리기 때문에 한 태스크의 학습이 다른 태스크를 끌고 가지 않습니다.
AIDE 비교 — (a) 태스크별 정확도와 mAcc, (b) F1-score축에서 바깥쪽일수록 좋습니다. 굵은 갈색이 PRISM-MTL이고, 네 태스크 평균 86.25%로 기존 최고 대비 3.95%p 앞섭니다. 특정 태스크만 좋아진 것이 아니라 네 축이 함께 밀려난 점이 요점입니다.

Result

86.25% ± 0.35
AIDE mAcc
SOTA 달성
비교
5-seed 반복
평가
DER · DBR · TCR · VBR
태스크

공개 AIDE 데이터베이스에서 네 태스크 통합 인식 기준 mAcc 86.25% ± 0.35로 state-of-the-art를 달성했습니다. 5-seed 반복 실험으로 성능의 안정성까지 함께 보였습니다.