05 / 06·TRACE-MTL · 2026 · 제1저자

태스크 사이의 시간적 인과관계까지 전파하는 통합 인식

TRACE-MTL: Temporal Relation-Aware Causal Evidence Propagation for Multi-Task Assistive Driving Perception

저자
Minjun Kim, Gyuho Choi
상태
투고 준비 중
키워드

Causal Propagation · Sparse MoE · Temporal Modeling · Multi-Task Learning · Lightweight Backbone

Problem

운전자가 몇 초 전에 한 행동은 지금의 차량 움직임에 영향을 줍니다. 기존 모델은 시간과 작업 사이의 관계를 따로 다뤄 이런 앞뒤 인과를 보지 못합니다.

기존 멀티모달 멀티태스크 연구는 시간 모델링과 태스크 간 상호작용을 서로 분리된 두 축으로 다뤄왔습니다. 그래서 한 태스크의 이전 시점이 다른 태스크의 현재 판단에 주는 영향, 즉 태스크 사이의 시간적 인과 의존성을 잡아내지 못합니다.

Solution

  1. 01

    운전자 신체 기하 관계 반영VISTA

    얼굴·신체·자세·제스처의 인캐빈 기하 관계를 별도 모달리티 스트림을 추가하지 않고 two-stream 인코더에 직접 반영해, 운전자 중심 증거를 추출합니다.

  2. 02

    태스크별 시점 특징 선택MoVE

    Sparse expert routing으로 다중 시점 특징을 태스크별 증거로 정렬합니다. 태스크마다 필요한 전문가만 선택적으로 활성화됩니다.

  3. 03

    태스크 간 시간 지연 효과 전파TRACE

    인과 지연창(causal lag window) 안에서 태스크 간 증거를 전파해, 시간 축을 따라 발생하는 태스크 간 영향을 포착합니다.

Figures

접근 비교 — (a) 태스크별 시간 모델링, (b) 정적 태스크 상호작용, (c) TRACE-MTL(a)는 각 태스크의 시간 흐름만 따로 보고, (b)는 태스크 사이를 잇지만 시간 축이 없습니다. 둘 사이에 비어 있는 것이 '다른 태스크의 몇 프레임 전 상태가 지금 이 판단에 영향을 주는가'이고, 이 연구가 맡은 자리입니다.
전체 아키텍처 — (A) VISTA 증거 추출, (B) MoVE 전문가 라우팅, (C) TRACE 인과 전파추출 · 정렬 · 전파의 세 단계로 나뉩니다. 인캐빈과 외부를 두 스트림으로 인코딩해 운전자 중심 증거를 뽑고, 태스크마다 필요한 전문가만 골라 증거를 정렬한 뒤, 태스크 사이로 그 증거를 시간 축을 따라 흘려보냅니다.
실제 동작 — 빈 주차장에서 좌회전하는 장면좌회전 때문에 생긴 시선 이동을 운전자 영상만으로 보면 '두리번거림'으로 읽힙니다. 같은 시점의 교통 상황(원활)과 차량 거동(회전) 증거를 운전자 행동 쪽으로 전파하면 '정상 주행'의 확신도가 0.53에서 0.90으로 올라갑니다. 아래 히트맵은 그 영향이 어느 시점에 몰리는지를 보여줍니다. AIDE 피험자 보호를 위해 인캐빈 영상은 가렸습니다.
AIDE 비교 — (a) 태스크별 정확도와 mAcc, (b) F1-score축에서 바깥쪽일수록 좋습니다. 굵은 분홍이 TRACE-MTL이고, 다섯 축 전부에서 기존 방법들 바깥에 있습니다. 네 태스크 평균 85.84%로 기존 최고 대비 3.13%p 앞섭니다.

Result

85.84% ± 0.75
AIDE mAcc
SOTA (+3.13%p)
비교
82.97% / 3.42M
경량 백본
5-run 반복
평가

AIDE 벤치마크에서 5회 반복 기준 mAcc 85.84% ± 0.75로 state-of-the-art를 갱신했습니다. MobileNetV3-Small 백본에서도 3.42M 파라미터로 82.97%를 유지해, 정확도와 효율의 trade-off가 양호함을 보였습니다.