04 / 06·MUSE-MTL · 2026 · 제1저자

모달리티가 늘어도 모델이 커지지 않는 공유 인코더 설계

MUSE-MTL: Modality-Unified Stage-wise Multi-Task Learning for Efficient Multimodal Driving Perception

저자
Minjun Kim, Gyuho Choi
상태
Expert Systems with Applications (SCIE) 심사 중
키워드

Parameter Efficiency · Shared Encoder · LoRA · Batch Normalization · ADAS

Problem

각 센서마다 인코더를 따로 두면 입력이 늘어날 때마다 모델 크기와 연산량도 커져 차량에 싣기 어렵습니다.

ADAS의 기존 멀티모달 학습은 모달리티마다 독립 인코더를 둡니다. 모달리티가 늘어날수록 파라미터와 연산량이 선형으로 증가하고, 모달리티 간 분포 차이 때문에 표현 공간이 분리돼 의미 정렬도 어려워집니다.

Solution

  1. 01

    센서별 분포 보존 정규화PS-MSBN

    모달리티별 running statistics와 전역 running statistics를 학습 가능한 혼합 계수로 결합해, 인코더를 공유하면서도 모달리티별 특징 분포의 고유성을 보존합니다.

  2. 02

    통계 기반 적응형 미세조정StaG-LoRA

    특징 통계를 게이트로 사용해 모달리티마다 파라미터 갱신 폭을 적응적으로 조절합니다. 공유 인코더가 특정 모달리티에 끌려가지 않게 합니다.

  3. 03

    초기 시간 축 압축ETB

    학습 초기 단계에서 시간 특징의 길이를 미리 줄여 연산 비용을 낮춥니다.

  4. 04

    태스크별 융합 헤드 연결TSMF

    MUSE가 추출한 멀티모달 특징을 경량 TSMF 헤드로 넘겨, 태스크 토큰과의 cross-attention으로 태스크별 중요 단서를 선택합니다.

Figures

왜 인코더를 공유하는가 — (a)~(c) 기존 방식, (d) MUSE-MTL(b)처럼 모달리티마다 인코더를 따로 두면 입력이 하나 늘 때마다 모델도 그만큼 커집니다. (d)는 인코더 하나를 모든 모달리티가 나눠 쓰고, 대신 정규화와 저랭크 보정으로 모달리티 사이의 차이를 흡수합니다. AIDE 피험자 보호를 위해 얼굴과 상반신은 가렸습니다.
전체 아키텍처 — 좌측 PS-MSBN·StaG-LoRA, 중앙 공유 인코더, 우측 ETB와 TSMF합성곱 가중치는 하나만 두고, 모달리티별 차이는 정규화 통계(PS-MSBN)와 저랭크 보정(StaG-LoRA)이 맡습니다. ETB가 2단계에서 시간 길이를 절반으로 줄이므로, 이후 깊은 단계는 전부 절반 비용으로 돕니다.
모달리티별 특징 분포 — (a) MUSE 없이, (b) MUSE 적용인코더 하나를 그냥 공유하면 (a)처럼 얼굴·신체·장면이 겹쳐 서로 간섭합니다. (b)는 같은 가중치를 쓰면서도 모달리티별로 덩어리가 갈라집니다. 공유로 아낀 크기가 표현을 망치지 않았다는 근거입니다.
AIDE 비교 — (a) 태스크별 정확도와 mAcc, (b) F1-score축에서 바깥쪽일수록 좋습니다. 네 태스크 평균 86.38%로 기존 최고 대비 4.08%p 앞서면서, 모달리티마다 인코더를 따로 두는 구조 대비 파라미터는 59% 적습니다.

Result

-59%
파라미터
-61.1%
GFLOPs
+0.11%p
AIDE mAcc
독립 인코더 구조 대비
기준

독립 인코더 구조 대비 파라미터 59%, GFLOPs 61.1%를 줄이면서 mAcc는 오히려 0.11%p 향상시켰습니다. 정확도를 내주지 않고 효율을 얻는 trade-off 지점을 확인했습니다.