포트폴리오

Minjun Kim

AI·DATA Engineer

멀티모달 인식 모델을 연구해 사람이 쓰는 서비스로 만듭니다.

SCIE 2편
제1저자 게재 논문Sensors · Mathematics
대상
미래에셋 AI·데이터 페스티벌336개 팀 중 대상
4개
운영·배포 중인 서비스이음 · 마가린Talktalk deSign · Corpath

01

연구

졸음 검출에서 출발해 실차에 올리기까지 부딪힌 제약을 한 단계씩 풀었습니다.

2023 ~ 2026

운전자 상태와 교통 상황을 함께 읽는 멀티모달 통합 인식

운전자와 차량의 상태를 정확하게 이해하려면 여러 센서와 정보를 함께 써야 합니다. 하지만 모달리티가 늘어날수록 서로 다른 정보가 충돌하고 연산량이 커집니다. 실제 차량에서는 일부 센서가 아예 빠지기도 합니다.

얼굴 · 신체 · 자세 · 제스처 · 주행 장면 다섯 가지 입력으로 운전자의 상태와 교통 상황을 하나의 모델에서 함께 인식합니다.

제1저자 SCIE 2편 게재 · KCI 1편 게재 · 2편 심사 중 · 1편 투고 준비 중 · 특허 출원 1건

필요 센서 선택 추론과 센서 결손 대응

Problem

센서 다섯 개를 매번 전부 처리하면 연산 비용이 큽니다. 실제 차량에서 센서 하나가 빠지면 입력 구성이 달라져 성능도 떨어집니다.

Solution

본 인코딩 전에 경량 scout token으로 센서 조합별 기여도를 반사실적으로 추정해 필요한 최소 조합만 실행합니다. knowledge distillation으로 일부 센서만 있는 조건도 학습해 센서가 결손돼도 추론할 수 있게 했습니다.

Result

평균 3.76개 센서만으로 평균 정확도 85.40% (전체 사용 대비 -0.34%p). 인코더 계산 비용 22.22% · 실제 지연 시간 15.52% 감소. 투고본 기준 수치입니다.

Neurocomputing (SCIE) 심사 중

02

서비스

연구하듯 문제를 정의하고 검증하며 서비스를 만들었습니다.

Corpath 화면 네 개. 상장사 전체의 지분·공급계약 관계를 3D 그래프로 보여 주고 아래에 질문 창이 있는 탐색 화면, 함께 급등한 종목을 연결 고리별 칸으로 보여 주는 이슈 종목 화면, 검산 결과를 보여 주는 데이터와 검증 화면, 평가 149문항의 판정을 문항별로 열어 볼 수 있는 평가 문항 화면.

Corpath · 2024 ~ 2026 · 미래에셋증권 AI·데이터 페스티벌 대상

어느 회사가 어느 회사와 지분이나 계약으로 이어져 있는지는 여러 공시에 흩어져 있습니다. 공급계약 공시는 절반 이상이 정정 공시라, 같은 질문도 언제 기준으로 묻느냐에 따라 답이 달라집니다.

펼쳐 보기데모
이음 앱 화면 네 개. 그날 있었던 일을 적는 화면, 말씀과 함께 내가 본 것 · 고백 · 적용이 남은 기록, 묵상한 날이 표시된 달력과 지난 기록, 기도 제목 목록.

이음 · 2026.05 ~ 진행 중 · 개발 중

일기를 쓰면 그날 상황에 맞는 성경 구절을 찾아 주는 앱입니다. 그런데 일기에는 찾을 단어가 따로 없어서, 처음 만든 검색은 추천 5개 중 2개꼴로 일기와 맞지 않았습니다.

펼쳐 보기데모
마가린 앱 화면 네 개. 말로 넣기(시간을 고르는 카드와 바꾸기 확인 카드), 근무가 날짜 옆 글자로 보이는 달력, 달 위에 예상 급여가 뜨는 근무표, 기본·야간·주휴·4대 보험이 줄마다 나오는 예상 급여 내역.

마가린 · 2026.09 ~ 10 · 운영 중

일정 앱은 날짜와 시간 칸을 하나하나 골라야 해서 번거롭습니다. 그렇다고 '다음 주 화요일 3시' 같은 말을 AI에만 맡기면 요일을 틀리게 계산하기도 합니다.

펼쳐 보기데모
Talktalk deSign 첫 화면. '수어로 말하면, 한국어로 보여 드려요' 제목 아래 번역 시작하기와 수어 배우기 버튼, 사용 방법 세 단계, 사용 상황 선택이 있다.

Talktalk deSign · 2024 · 2026 · 운영 중

카메라 앞에서 수어를 하면 한국어로 옮겨 주는 번역기입니다. 처음 만든 모델은 시험에서 94%를 맞혔지만 처음 보는 사람이 수어를 하자 51.5%로 떨어졌습니다.

펼쳐 보기데모

03

그 외 프로젝트