06 / 06·COVA-MTL · 2026 · 제1저자

무엇을 쓰지 않을지 먼저 정하는 반사실 기반 모달리티 선택

COVA-MTL: Counterfactual Value-Aware Modality Acquisition for Efficient and Robust Multi-Task Driving Perception

저자
Minjun Kim, Gyuho Choi
상태
Neurocomputing (SCIE) 심사 중
키워드

Counterfactual Reasoning · Modality Acquisition · Missing Modality · Knowledge Distillation · Latency

Problem

센서 다섯 개를 매번 전부 처리하면 연산 비용이 큽니다. 실제 차량에서 센서 하나가 빠지면 입력 구성이 달라져 성능도 떨어집니다.

모든 모달리티를 항상 처리하는 방식은 비용이 크고, 실제 차량에서는 센서가 빠지면 입력 구성 자체가 달라집니다. 비용 문제와 결손 문제가 따로 다뤄져 왔지만, 실차에서는 이 둘이 같은 문제입니다.

Solution

  1. 01

    인코딩 전 입력별 기여도 추정ACVE

    비용이 큰 branch 인코딩에 들어가기 전에, 각 입력이 태스크 손실에 주는 반사실적 변화를 먼저 추정합니다. 쓰기 전에 가치를 판단하는 구조입니다.

  2. 02

    최소 센서 조합 선택SSR

    고정된 예산이나 비용 항 없이, 추정된 가치를 기준으로 최소 크기의 모달리티 부분집합을 선택합니다.

  3. 03

    부분 입력 조건 학습SCML

    Knowledge distillation 기반 학습으로 임의의 부분집합 조건에서도 추론이 가능하도록 만들어, 센서 결손 상황을 학습 단계에서 흡수합니다.

Figures

실제 동작 — 점 하나가 후보 부분집합 하나입니다. 가로축은 그 후보가 쓰는 모달리티 개수, 세로축은 다섯 개를 다 썼을 때 대비 예측 손실입니다.점선 아래면 충분하고, 그중 가장 왼쪽이 선택됩니다. 2개만 써도 되는 클립부터 다섯 개가 전부 필요한 클립까지 차례로 나오며, 마지막은 절약할 수 없는 경우입니다. 화면에 보이는 절감률(예: −35%)은 그 클립 하나의 값이고 전체 평균은 22.22%입니다. 화면 아래 수치도 seed 42 단일 시드 기준이라 투고본의 여러 시드 평균과는 다릅니다. AIDE 피험자 보호를 위해 얼굴과 상반신은 흐리게 처리했습니다.
선택 방식 비교 — 기존 방식들이 언제 판단하는지, COVA-MTL은 언제 판단하는지기존 방식은 인코딩을 마친 특징을 보고 중요도를 매기거나, 데이터셋 전체에 같은 개수 제한을 겁니다. 앞은 안 쓸 입력까지 이미 계산한 뒤라 비용이 줄지 않고, 뒤는 장면마다 필요한 것이 다르다는 점을 반영하지 못합니다.
전체 아키텍처 — (a) ACVE 반사실 가치 추정, (b) SSR 최소 부분집합 선택, (c) SCML 부분집합 조건 학습왼쪽 경량 프리뷰가 만든 scout token만으로 31개 후보의 손실 변화를 예측하고, 그중 가장 작은 것을 고른 뒤, 선택된 분기만 실제로 실행합니다. 무거운 인코더를 지나가는 것은 선택된 모달리티뿐입니다.
모달리티별 특징 분포 — 위가 COVA-MTL, 아래가 단순 공유 인코더다섯 모달리티가 서로 다른 덩어리로 갈라져 있어야 공유 인코더가 각 입력의 성격을 유지하고 있다는 뜻입니다. 아래는 색이 뒤섞여 있고, 특히 일부만 쓰는 (d)에서 구분이 무너집니다. 같은 조건의 (b)는 세 덩어리가 그대로 떨어져 있습니다.
실제 예측 — 붉은 X는 실행하지 않은 입력입니다.(a)는 다섯 중 둘만 쓰고도 네 태스크를 모두 맞혔고, 같은 장면에서 전부 쓴 단순 공유 인코더는 넷 중 하나만 맞혔습니다. 적게 써서 싸진 것이 아니라, 덜 쓰는 편이 오히려 정확했던 경우입니다. AIDE 피험자 보호를 위해 얼굴과 상반신은 가렸습니다.

Result

85.40% ± 0.61
AIDE mAcc
평균 3.76개
사용 모달리티
-22.22%
branch 비용
-15.52%
실측 latency

모든 모달리티를 쓰지 않고 평균 3.76개만으로 mAcc 85.40% ± 0.61을 유지하면서, branch 비용 22.22%와 실측 latency 15.52%를 줄였습니다. latency는 CUDA 동기화 기반으로 측정했습니다. 센서가 빠진 조건에서는 절감폭이 더 커져, 외부 시점이 없을 때 branch 비용이 42% 내려갑니다.