01 / 06·SERN · 2024 · 제1저자

SERN 기반 운전자의 다중 행동 특징을 이용한 졸음 검출 시스템

A Drowsiness Detection System Using Multiple Driver Behavior Features Based on SERN

저자
Minjun Kim, Wonyeol Kim, Gyuho Choi
상태
한국차세대컴퓨팅학회 논문지 (KCI) 게재
인용
한국차세대컴퓨팅학회 논문지, 2024, 20(3)
키워드

Squeeze-and-Excitation · ResNet · Data Relabeling · Occlusion

Problem

눈이나 고개 하나만 보고 졸음을 판단하면 손이나 물건에 가려질 때 놓칩니다. 공개 데이터의 졸음 라벨도 하품과 눈 감김 구간에서 기준이 모호했습니다.

기존 졸음 검출 시스템은 운전자의 신체 특징 하나에 의존해, 신체 일부가 가려지면 검출이 무너지는 한계가 있었습니다. 또한 공개 데이터의 졸음 라벨이 하품·눈 감김 구간에서 모호했습니다.

Solution

  1. 01

    다중 행동 특징 추출

    눈·입·고개의 행동 특징을 함께 추출해, 하나가 가려져도 나머지로 판단할 수 있게 했습니다.

  2. 02

    졸음 라벨 3단계 재정의

    EAR·MAR 지표로 실제 분포를 재분석해 비졸음·졸음 전조·졸음 3단계로 라벨을 재정의했습니다. 모델을 바꾸지 않고 라벨 정의만 고쳐 정확도를 올렸습니다.

  3. 03

    SE 블록 결합 분류 모델SERN

    ResNet18에 Squeeze-and-Excitation 블록을 결합해 채널별 중요도를 재조정했습니다.

Figures

전체 흐름 — 기존 2단계 라벨을 데이터 분석 후 3단계(졸음/전조/비졸음)로 재정의합니다.모델을 바꾸기 전에 라벨부터 본 작업입니다. 하품 구간은 졸음과 비졸음 양쪽에 걸쳐 있어 지표로 쓸 수 없다고 보고 제외했고, 눈 개방이 불완전한 구간은 두 상태 사이에 놓이는 것을 확인해 '전조'로 따로 세웠습니다.
SERN 구조 — ResNet18의 residual block에 SE 블록을 결합했습니다.블록마다 채널별 중요도를 다시 매기는 구조라, 가려짐으로 일부 채널이 무의미해지면 나머지 채널의 비중이 올라갑니다.

Result

+1.03%p vs 기존 네트워크
NTHU-DDD
91.50% → 97.75%
라벨 재정의 효과
3단계 (비졸음/전조/졸음)
분류

NTHU-DDD 공개 DB에서 기존 네트워크 모델 대비 1.03%p 향상을 확인했습니다. 첫 주제 연구로, 이후 STFTransNet으로 이어지는 출발점이 된 작업입니다.