R&E 연구노트 ⑥ 칵테일 파티 문제, 잡음 속 목소리 분리
연구노트 시리즈.
문제: 시끄러운 매장
키오스크로 음성 주문을 받는다고 하자. 조용한 방이라면 쉽다. 하지만 실제 음식점이나 매장은 다르다. 주변 잡음이 주문자의 목소리를 덮어 키오스크가 인지하지 못하고, 근처 직원이나 다른 손님의 목소리가 더 크면 엉뚱한 사람의 말을 받아들일 수 있다.
이건 음성 신호 처리에서 유명한 칵테일 파티 문제다. 여러 소리가 섞인 환경에서 특정 화자의 목소리만 골라 듣는 문제다. 사람은 시끄러운 파티에서도 대화 상대의 말에 집중할 수 있지만 기계에게는 어렵다.
아이디어: 눈으로 듣는다
핵심 아이디어는 카메라로 인식한 얼굴·입술 데이터를 이용해 주문자의 오디오만 분리하는 것이었다. 사람도 시끄러운 곳에서는 상대의 입 모양을 보며 알아듣는다. 소리만 듣는 게 아니라 보면서 듣는 것이다. 입 모양의 움직임과 음성을 함께 묶으면 지금 말하는 사람의 목소리를 소음과 구별할 단서가 생긴다.
이런 접근을 AVSR(Audio-Visual Speech Recognition), 또는 audio-visual speech separation이라 부른다.
조사한 모델들
관련 연구를 찾아보니 이미 강력한 모델들이 있었다.
Looking-to-Listen은 구글이 제안한 화자 분리 모델이다. U-Net 구조로 섞인 오디오에서 특정 화자의 소리를 분리하며, 대규모 데이터셋 AVSpeech로 학습됐다. 영상 속 얼굴과 오디오를 함께 입력받아 이 얼굴이 내는 소리를 골라낸다.
VisualVoice는 입 모양과 얼굴 외형에서 화자의 음색까지 추정해 분리에 활용하는 모델이다. 얼굴이 가진 정보를 단서로 쓴다는 발상이 흥미로웠다.
가능성을 확인하다
조사 단계의 결론은 고무적이었다. 잡음 속 화자 분리는 이미 연구된 문제이고, 입 모양을 활용하는 audio-visual 접근이 그 해법으로 자리 잡고 있었다. 우리가 풀려는 문제는 이론적으로 불가능한 게 아니라 잘 정의된, 활발히 연구되는 문제였다. 남은 건 이 모델들을 우리 키오스크 시나리오, 즉 실시간 주문에 맞게 가져오는 것이었다.