OpenAI Whisper(1) - Whisper란 무엇일까?

Whisper를 접하게 된 이유

오늘은 졸업작품 주제로 선정한 Mina 프로젝트에서 사용한 OpenAI의 Whisper에 대해 소개하려고 합니다.

 

먼저 졸업작품 주제를 간단히 설명드리자면, Mina는 Meeting Intelligence & Note Automation의 약자로 음성 회의를 기반으로 회의 내용을 자동으로 정리하고, 업무 단위까지 연결하는 음성 회의 기반 자동 협업 플랫폼을 목표로 한 프로젝트입니다.

요약하자면, 단순히 회의 내용을 녹음하는 것이 아닌 회의 음성을 분석해 회의록 작성, 요약, 업무 정리까지 자동화하고 싶었습니다.

이 과정에서 가장 핵심이 되는 기술이 바로 음성 인식(STT, Speech-to-Text) 이었습니다.

ChatGPT가 생성해준 Whisper 대표적인 이미지 사진

Whisper란 무엇인가?

Whisper는 OpenAI가 공개한 범용 음성 인식 모델입니다.

보통 *STT(Speech-to-Text) 모델로 많이 소개 되지만, 실제로는 그보다 범위가 넓습니다.

Whisper는 단순히 음성을 텍스트로 변환하는 것에 그치지 않고 다국어 음성인식, 언어 자동감지, 음성 번역을 할 수 있는 모델입니다.

STT(음성(사람의 말)을 텍스트(문자)로 자동 변환하는 기술 및 프로세스)

 

즉 Whisper는 여러 음성 처리 작업을 하나의 모델로 통합한 멀티태스크 음성 모델입니다.

Whisper의 특징

‘인식’보다 ‘생성’에 가까운 모델

Whisper를 이해할 때 가장 중요한 포인트는 이 모델이 단순한 “음성 인식기”라기보다는 텍스트를 생성하는 모델에 가깝다는 점입니다.

 

Whisper는 음성을 입력받아 먼저 언어를 추정하고 이전에 생성한 토큰을 바탕으로 텍스트를 토큰 단위로 하나씩 생성해 나가는 구조를 가집니다.

 

이러한 특성 덕분에 Whisper는 문장 단위 출력이 비교적 자연스럽게 이어지는 편이지만, 발화가 애매하거나 음성이 불분명한 구간에서는 모델의 ‘추정’이 개입할 여지도 함께 존재합니다.

Whisper 모델의 가장 큰 강점

1. 대규모 음성 데이터 학습 기반

Whisper는 웹에서 수집된 여러 언어와 다양한 음성 작업을 포함한 학습에 사용된 음성 데이터의 규모와 구성입니다. 

약 68만 시간 분량의 지도(supervised) 음성 데이터로 학습된 모델입니다.

아래 그림은 Whisper 논문에서 공개한 훈련 데이터 구성과 언어별 분포를 보여줍니다.

모델을 학습시킬 때 실제로 사용한 데이터 분포

2. 언어 자동 감지 + 다국어 혼합 언어 대응

Whisper는 별도의 언어 설정 없이도 입력 음성의 언어를 자동으로 추정하며, 다국어 및 혼합 언어 환경에서도 언어 전환에 비교적 자연스럽게 대응하는 편입니다. 

 

실제로 Whisper는 Common Voice 15, FLEURS와 같은 서로 성격이 다른 다국어 음성 데이터셋 평가에서도
언어별 인식 오류율(WER/CER)이 비교적 안정적으로 유지되는 모습을 보입니다.

 

이러한 학습 데이터 구성과 평가 결과를 바탕으로 볼 때, Whisper의 언어 자동 감지와 혼합 언어 대응은
단순한 편의 기능이 아니라 모델 설계 단계에서부터 고려된 특성이라고 볼 수 있습니다.

Common Voice 15 및 Fleurs 데이터셋에서 평가한 WER(단어 오류율) 또는 CER(문자 오류율, 이탤릭체 large-v3  로 표시)을 사용하여 언어별 모델 성능 을 분석한 결과

출처

공식사이트(https://openai.com/ko-KR/index/whisper/)

깃허브(https://github.com/openai/whisper)

 

🔚1편을 마무리하며

1편에서는 Whisper에 대한 전반적인 이해를 돕기 위해, 단순한 기능 소개가 아닌 모델의 성격과 특징을 중심으로 정리해보았습니다.

이 글은 Whisper를 단순히 “사용하는 것”이 목적이 아니라, 왜 이런 결과가 나오는지 이해하고, 알고 있는 만큼 더 잘 활용하고 싶은 분들을 위해 제가 직접 공부하고 이해한 내용을 최대한 공유하고자 작성한 글이기도 합니다.

 

참고로 본 시리즈는 Whisper API 사용 관점이 아니라, 오픈소스로 공개된 Whisper 코드와 논문 내용을 기반으로 정리합니다.
(실제로 Mina 프로젝트에서도 오픈소스 Whisper를 기준으로 적용·분석했습니다.)

 

이어지는 2편에서는 Whisper가 어떤 구조와 설계 방식을 통해 이러한 특성을 가지게 되었는지, 즉 Whisper의 아키텍처와 동작 원리를 중심으로 조금 더 깊이 있게 분석해보려고 합니다. 감사합니다.

OpenAI Whisper(2) - Whisper 아키텍처 분석[입력]