R&E 연구노트 ⑫ 2025 결과와 한계, 그리고 회고

연구노트 시리즈. 2025년(1년 차) R&E를 마무리하는 글이다.

무엇을 만들었나

1년 차 R&E의 최종 결과물은 딥러닝 기반 음성·영상 인식과 연령 추정을 활용한 사용자 특성 반응형 AI 키오스크였다.

기존 키오스크는 모든 사용자에게 동일한 화면을 제공해 고령층이나 어린이처럼 디지털에 익숙하지 않은 사용자에게 장벽이 됐다. 이 시스템은 얼굴 인식으로 연령대를 파악해 UI를 자동으로 바꾸고 음성으로 주문을 받는 멀티모달 방식으로 그 문제에 접근했다.

성과

• 연령 추정 정확도 78.0%, 평균 오차 2.8세. 자체 제작한 Web-UI 벤치마크로 측정했고, 얼굴 인식과 연령 처리는 1~2초 내 완료됐다.
• 연령대별 맞춤 UI. 어린이, 청소년, 성인, 노인 4구간으로 글자·버튼·대비를 조절해 사용 만족도를 높일 수 있음을 확인했다.
• 복잡한 음성 주문 처리. 여러 옵션을 포함한 여러 음식 주문도 정확히 처리했다.
• 실서비스 환경 동작 확인. 라즈베리파이 기반 실물 키오스크에서 기능적으로 동작했다.

보고서가 정리한 주요 기술적 기여는 세 가지다. MTCNN 계열 CNN 기반의 고정밀 얼굴 검출, 사전학습된 CNN 모델의 전이학습을 통한 연령 분류, 그리고 멀티모달 인터페이스 통합을 통한 노년층 친화적 UI 제공이다. 클라이언트 단에서 AI 연산을 수행하는 엣지 컴퓨팅으로 실시간성과 개인정보 보호를 함께 꾀했다는 점도 의의로 남았다.

한계

• 연령 분류 정확도의 한계. 조명 변화나 얼굴 회전이 심하면 인식 성능이 떨어졌다.
• 소음 환경. 배경 소음이 있는 실외에서는 음성 오인식 가능성이 커졌다. 애초 목표였던 다중 화자 분리를 1년 차에 구현하지 못한 것과 맞닿아 있다.
• 개인정보 이슈. 얼굴 데이터 기반 모델 특성상 프라이버시 보호에 유의해야 한다.
• 표현의 한계. 연령과 성별에만 집중했고 표정, 제스처 같은 더 풍부한 상호작용은 다루지 못했다.

향후 과제

더 다양한 조건(인종, 조명)에서의 성능 개선과 경량화 모델 개발, 실시간 처리 속도 최적화, 보다 고도화된 자연어 대화 기능, 그리고 실제 사용자 참여 실험을 통한 UX 평가가 남았다.

회고

이 1년에서 가장 많이 배운 건 특정 기술이 아니라 왜 이 길이 막혔는가를 판단하는 감각이었다.

화재 대피 경로 탐색은 제대로 풀려면 정렬 알고리즘을 새로 발명하는 수준의 최적화가 필요하다는 걸 깨닫고 접었다. 다중 화자 음성 분리는 좋은 모델이 있어도 실시간이라는 제약 앞에서는 그대로 쓸 수 없다는 현실을 마주했다.

두 좌절은 모두 더 잘 만들 수 있었는데가 아니라 이건 지금 우리 범위 밖이다라는 판단이었다. 중요한 건 그 판단 후에 멈추지 않고 현실적인 대안으로 갈아탔다는 점이다. 화재 대피를 접고 키오스크로, 이상적인 화자 분리를 접고 Whisper 실시간 STT로 방향을 틀었고, 매번 기존에 쌓은 것을 살리자는 원칙을 지켰다. 그 덕에 멀리 돌아온 길이 하나의 완성된 시스템으로 모였다.

다음 글부터는 2026년(2년 차)에 이어가는 작업, 즉 키 추정과 실시간 음성·영상 인식 재도전, 메뉴 추천을 다룬다. 올해 연구 보고서가 나오면 더 정확히 보강할 예정이다.