코딩이나 명령줄 없이 OpenAI Whisper를 사용하세요. 모든 Whisper 모델이 포함된 간단한 데스크톱 인터페이스입니다. 오프라인 또는 OpenAI API와 함께 작동합니다.
OpenAI Whisper는 2022년 9월 OpenAI에서 발표한 자동 음성 인식(ASR) 시스템입니다. 인터넷에서 수집한 680,000시간의 다국어 및 멀티태스크 감독 학습 데이터로 훈련되어 영어 및 다국어 음성 인식에서 새로운 벤치마크를 설정했습니다. 전문적인 정확도를 달성하기 위해 도메인별 미세 조정이 필요했던 이전의 최첨단 ASR 시스템과 달리 Whisper의 훈련 데이터 규모는 녹음 조건, 악센트, speaking styles, 언어 전반에 걸쳐 강력한 견고성을 갖춘 범용 모델을 만들었습니다.
OpenAI Whisper 음성 텍스트 변환의 핵심 혁신은 새로운 아키텍처가 아니라 표준 인코더-디코더 Transformer를 사용한다는 점입니다. 혁신은 훈련 데이터의 규모와 멀티태스크 프레임에 있습니다. 모델은 96개 언어에서 전사, 번역, 언어 식별, 음성 활동 감지를 동시에 훈련했습니다. 이러한 멀티태스크 훈련은 더 좁은 음성 분포로 훈련된 모델보다 훨씬 더 나은 일반화를 생성합니다.
StarWhisper는 whisper.cpp를 사용하여 OpenAI Whisper 음성 텍스트 변환을 Windows 데스크톱 응용 프로그램으로 패키지했습니다. 이는 Python 종속성을 제거하고 명령줄 작업 없이 비기술 사용자가 로컬 Whisper 처리를 사용할 수 있게 하는 C++ 런타임입니다. 이 페이지는 Whisper의 기능, 모델 변형 및 StarWhisper가 일상 사용에서 이를 공개하는 방법을 설명합니다.
Whisper는 정확도와 속도의 트레이드오프가 다른 5가지 모델 크기로 출시되었습니다. 작업에 사용할 모델을 이해하면 불필요한 타협을 피할 수 있습니다.
| 모델 | 매개변수 | 영어 WER | CPU 속도 (추정) | StarWhisper 플랜 |
|---|---|---|---|---|
| tiny | 39M | ~14% WER | ~10x 실시간 | 무료 (번들) |
| base | 74M | ~10% WER | ~7x 실시간 | 무료 (번들) |
| small | 244M | ~5.5% WER | ~1x 실시간 | 무료 (번들) |
| medium | 769M | ~3.5% WER | ~0.3x 실시간 | Pro |
| large-v3 | 1.5B | ~2.5% WER | ~0.1x 실시간 | Pro |
WER = LibriSpeech clean 테스트 세트의 단어 오류율입니다. 낮을수록 좋습니다. CPU 속도는 최신 데스크톱 CPU에서의 추정치입니다. GPU 속도는 medium 및 large 모델의 경우 5-10배 더 빠릅니다.
대부분의 실시간 받아쓰기 사용 사례의 경우 small 모델 (번들 무료)은 처리 속도가 거의 실시간 출력에 충분히 빠르며 94-96% 정확도를 달성하므로 GPU 사용자에게도 권장하는 실용적인 기본값입니다. large-v3 모델은 긴 파일의 일괄 변환을 위해 예비하는 것이 가장 좋습니다. 긴 세그먼트로 훈련되었으므로 계산을 보장합니다. 짧은 받아쓰기 클립에서 large-v3는 과도하게 수정하고 small보다 더 많은 환각을 일으킬 수 있습니다.
공식 저장소에서 OpenAI Whisper 음성 텍스트 변환을 실행하려면 Python 3.9+, PyTorch, ffmpeg, 종종 GPU 드라이버와 일치하는 특정 CUDA 툴킷 버전이 필요합니다. 비개발자에게 이는 상당한 장벽입니다. StarWhisper는 이를 완전히 제거합니다. whisper.cpp 런타임은 설치 프로그램과 함께 번들로 제공되는 컴파일된 네이티브 Windows 실행 파일입니다. StarWhisper를 설치하고, 열고, 받아쓰기 하세요. 터미널, 패키지 관리자, 버전 충돌이 없습니다.
StarWhisper는 설치 프로그램에 tiny, base, small 모델을 번들로 제공하여 즉시 사용할 수 있습니다. 설정 패널에서 Pro 구독자는 앱 내에서 medium 및 large-v3를 직접 다운로드할 수 있습니다. 모델 관리, 다운로드, 전환, 무결성 검증은 수동 파일 배치나 구성 없이 GUI를 통해 처리됩니다.
StarWhisper는 NVIDIA GPU를 자동으로 감지하고 사용 가능한 경우 whisper.cpp 추론을 CUDA로 라우팅합니다. GPU 가속은 모델 크기에 따라 OpenAI Whisper 음성 텍스트 변환을 CPU 전용 처리보다 5-15배 더 빠르게 만듭니다. CPU에서 실시간의 10배를 걸리는 large-v3 모델은 중간 범위의 NVIDIA GPU에서 대략 실시간의 1.5-2배 속도로 실행되므로 30분 녹음이 5시간이 아닌 25분 이내에 변환됩니다.
공식 OpenAI Whisper 모델은 실시간 스트리밍용으로 설계되지 않았습니다. 고정 청크에서 오디오를 처리합니다. StarWhisper의 스트리밍 세그먼터는 3-5초 롤링 윈도우로 오디오를 처리하여 중첩된 컨텍스트 윈도우를 사용하면서 정확도를 유지하며 거의 실시간 출력을 제공합니다. 이것은 기술적으로 일괄 처리보다 복잡하지만 라이브 받아쓰기 워크플로에 필수적입니다. 결과는 업로드된 파일뿐만 아니라 라이브 받아쓰기 컨텍스트에서 OpenAI Whisper 음성 텍스트 변환 정확도입니다.
오디오를 OpenAI 서버로 전송하고 분당 비용이 드는 OpenAI Whisper API를 사용하는 것과 달리 StarWhisper의 로컬 구현은 모든 오디오를 기기에 유지합니다. 로컬 Whisper 처리의 개인정보 보호 및 보안 세부정보는 오프라인 음성 텍스트 변환 Windows 페이지를 참조하세요.
OpenAI는 분당 $0.006의 가격으로 Whisper를 클라우드 API로 제공합니다. 첫눈에 저렴해 보입니다. 전문적인 사용으로 월 4시간이면 $1.44입니다. 하지만 이 비교는 몇 가지 중요한 요소를 무시합니다.
OpenAI Whisper API 문서는 클라우드 API에 대한 참조 자료입니다. 클라우드 비용과 개인정보 보호 영향 없이 동일한 Whisper 정확도를 원하는 사용자에게 StarWhisper는 실용적인 대안입니다.
small 모델 (번들, 무료)을 사용하세요. CPU에서 대략 실시간 속도로 처리하며 GPU에서는 더 빠르고 명확한 음성에서 94-96% 정확도를 제공합니다. 대부분의 받아쓰기 작업(이메일, 메모, 문서)의 경우 최소한의 수정만 필요하므로 충분합니다.
실시간으로 기다리지 않는 긴 형식 파일 변환(강의, 인터뷰, 팟캐스트)의 경우 GPU의 large-v3 (Pro)가 올바른 도구입니다. 추가 컨텍스트는 까다로운 긴 오디오(악센트, 노이즈, 기술 어휘)에 도움이 됩니다. 라이브 받아쓰기 기본값으로 small을 유지하고 일괄 작업을 위해 특별히 large-v3로 전환하세요. 짧은 클립에서 large-v3는 과도하게 수정하는 경향이 있습니다.
비라틴어 스크립트(CJK, 아랍어, 키릴 문자) 및 긴 형식 다국어 녹음의 경우 medium 모델은 종종 small에서 한 단계 올라간 올바른 선택입니다. 왜냐하면 small의 다국어 성능은 해당 스크립트에서 떨어질 수 있기 때문입니다. 언어별 권장 사항은 다국어 음성 텍스트 변환 가이드를 참조하세요.
CPU의 medium 모델은 느리지만(실시간의 0.3배) 96-97% 정확도를 달성하므로 실시간으로 기다리지 않는 일괄 파일 변환에 적합합니다. small보다 더 나은 정확도를 원하는 CPU 사용자는 능동적으로 기다리는 대신 밤새 일괄 변환을 실행하세요.
Windows 머신에서 OpenAI Whisper 음성 텍스트 변환, 무료로 시작하세요
StarWhisper 다운로드OpenAI Whisper는 오픈 소스 음성 인식 시스템인 모델입니다. Whisper API는 OpenAI 서버에서 모델을 실행하고 분당 요금을 부과하는 클라우드 서비스입니다. StarWhisper는 오디오 전송 및 분당 비용 없이 머신에서 동일한 모델을 로컬로 실행합니다.
짧은 클립 받아쓰기 및 대부분의 음성 입력 작업의 경우 Small 모델이 권장하는 실용적인 기본값입니다. Large-v3는 오픈 소스 릴리스에서 가장 큰 범용 Whisper 모델이지만 짧은 오디오에서는 더 긴 세그먼트로 훈련되었기 때문에 Small보다 더 많은 환각을 일으킬 수 있습니다. 긴 형식 오디오나 비라틴어 스크립트(CJK, 아랍어, 키릴 문자)에는 Medium을 사용하세요. 긴 파일의 일괄 변환을 위해 Large-v3는 예약해 두세요. 새로운 공식 Whisper 릴리스는 가능하게 되면 지원될 것입니다.
StarWhisper는 Python, CUDA 툴킷 구성, 명령줄 작업이 필요 없으며 라이브 받아쓰기, 파일 변환, 모델 관리, 핫키 제어가 포함된 GUI를 제공합니다. 이것은 전문 소프트웨어를 사용하는 것과 연구 코드를 실행하는 것의 차이입니다.
Whisper는 웹 오디오로 훈련되었으므로 의료 강의, 법률 절차, 기술 콘텐츠를 포함합니다. 일반적인 의료 및 법률 용어를 합리적으로 잘 처리합니다. 고도로 전문화된 어휘의 경우 정확도는 훈련 데이터에서 해당 용어가 얼마나 자주 나타나는지에 따라 달라집니다. 드문 기술 용어는 사후 편집이 필요할 수 있습니다.