내 언어로 음성을 인식하세요. 마라티어, 힌디어, 구자라트어, 타밀어, 말라얄람어, 아랍어, 일본어 및 90개 이상의 다른 언어를 지원합니다. 별도의 언어 팩이 필요 없습니다.
다국어 음성 텍스트 변환은 음성 기술에서 가장 과장되고 실망스러운 기능 중 하나입니다. 소프트웨어 회사들은 기능 페이지에 "99개 지원 언어"를 나열하면서 실제로는 많은 언어의 성능이 훨씬 떨어진다는 사실을 숨깁니다. 하루 종일 스페인어와 영어를 오가며 사용하는 이중 언어 전문가나 아랍어로 진행된 인터뷰를 변환하는 연구원에게 이러한 격차는 도구를 쓸 수 없게 만들 수 있습니다.
OpenAI Whisper는 2022년 발표되었을 때 상황을 바꿨습니다. 웹에서 수집한 680,000시간의 다국어 오디오로 훈련되어 주요 클라우드 공급업체 API 외부에서 가장 광범위하게 훈련된 공개 음성 인식 모델입니다. 중요한 차이점은 Whisper가 언어 식별과 변환을 함께 원활하게 처리하는 단일 모델이라는 점입니다. '프랑스어 Whisper'나 '일본어 Whisper'는 없습니다. 하나의 모델이 96개 언어를 처리하며 영어와 주요 세계 언어 간의 품질 격차는 이전 시스템보다 훨씬 좁습니다.
StarWhisper는 실용적이고 설정 불필요한 데스크톱 애플리케이션을 통해 Windows에 이 다국어 음성 텍스트 변환 기능을 제공합니다. Python, 명령줄 또는 기술 설정이 필요하지 않습니다. 언어를 선택하고, 단축키를 누르고, 말하세요. 이 페이지는 작동하는 것, 작동하지 않는 것, 그리고 다양한 모델 크기 및 사용 사례에서 다국어 음성 변환을 통해 최상의 결과를 얻는 방법에 대한 현실적인 가이드입니다.
연구원, 국제 비즈니스 전문가, 콘텐츠 크리에이터, 이중 언어 사용자는 다국어 변환 도구에서 각기 다른 요구 사항을 가지고 있습니다. 실제로 중요한 기능은 다음과 같습니다.
영어는 잘 처리하지만 제2언어는 어려워하는 도구는 다국어 작업에 실질적으로 도움이 되지 않습니다. 사용자의 언어 간 품질 격차가 작을 엔진이 필요합니다. 더 큰 Whisper 모델은 일반적으로 주요 세계 언어에서 더 나은 성능을 발휘하지만 출력은 여전히 오디오 품질과 언어 적용 범위에 따라 달라집니다.
녹음 사이에 언어 설정을 수동으로 전환하는 것은 워크플로를 방해하는 요소입니다. 좋은 다국어 음성 텍스트 변환은 오디오 자체에서 말하는 언어를 식별해야 하며, 모든 세션마다 미리 선언하도록 요구해서는 안 됩니다.
국제 팀은 원본 언어에 관계없이 회의록, 인터뷰 필사본 또는 연구 결과물을 영어로 필요로 하는 경우가 많습니다. 내장된 음성-영어 번역은 이전에 변환 후 별도의 번역 도구가 필요했던 워크플로에서 수동 단계를 제거합니다.
변환에 대해 분당 비용을 청구하는 클라우드 서비스는 비영어권 언어에 대해 추가 요금을 부과하거나 동일한 요금을 받으면서도 성능이 떨어지는 경우가 많습니다. 모든 언어에 동일하게 적용되는 정액제 가격만이 다국어 워크플로를 경제적으로 예측 가능하게 만드는 유일한 모델입니다.
다국어 사용자는 서로 다른 데이터 거주 법률을 가진 국가 간에서 더 많이 작업할 가능성이 높습니다. 미국 서버에서 처리되는 프랑스 비즈니스 오디오는 GDPR 문제를 제기합니다. 로컬 오프라인 처리는 이러한 국가 간 규정 준수 문제를 완전히 제거합니다.
실제 이중 언어 화법은 문장 중간에 언어를 혼합하는 경우가 많습니다. "So the meeting was at 3 o'clock, aber wir haben keine Einigung erreicht"는 독일 비즈니스 환경에서 자연스럽습니다. 성숙한 다국어 엔진은 이러한 언어 전환을 주요 필사본을 잃지 않고 처리합니다.
이전 음성 인식 아키텍처는 각 언어에 대해 별도의 음향 모델을 유지했습니다. 일본어는 일본어 모델이 필요했고, 아랍어는 아랍어 모델이 필요했으며, 이런 식이었습니다. 이는 20개 언어를 지원하려면 20개의 모델, 20개의 유지 관리 부담, 그리고 각 언어에 투자된 정도에 따라 크게 달라지는 품질을 의미하는 조합적 확장 문제를 만들었습니다.
Whisper는 다르게 작동합니다. 동시에 다국어 데이터로 훈련된 단일 인코더-디코더 트랜스포머입니다. 모델은 별도의 단계가 아닌 변환의 일부로 언어 식별을 처리하도록 학습합니다. StarWhisper를 설치하고 큰 모델(Large model)을 다운로드하면 단일 3GB 파일로 지원되는 96개 언어 모두에 대해 기능하는 다국어 음성 텍스트 변환을 갖게 됩니다. 프랑스어 추가 기능이나 일본어 언어 팩은 없습니다.
StarWhisper의 자동 감지 모드는 변환이 시작되기 전에 초기 오디오 세그먼트에서 말하는 언어를 식별하도록 Whisper에 요청합니다. 주요 세계 언어의 경우 이 식별은 일반적으로 신속하고 정확합니다. 설정을 열지 않고도 음성 메모를 녹음하고 변환한 후 원본 언어로 형식화된 출력을 받을 수 있습니다.
자동 감지는 소수 언어, 더 큰 언어와 음운론적 특징을 공유하는 지역 방언, 매우 짧은 녹음에 대해서는 신뢰도가 떨어집니다. 이러한 경우 설정(Settings)에서 언어를 명시적으로 설정하면 더 일관된 결과를 얻을 수 있습니다. 감지 정확도는 모델에 따라서도 달라집니다. 특히 Whisper 훈련 데이터가 제한적인 언어의 경우 큰 모델의 언어 식별이 작은 모델보다 의미 있게 더 좋습니다.
StarWhisper는 단일 단계에서 변환과 번역을 수행하는 영어로 번역 모드를 포함합니다. 이는 텍스트를 별도의 번역 API로 보내는 후처리 단계가 아닌 Whisper 모델 자체의 직접적인 기능입니다. 프랑스어로 말하고 영어를 받으세요. 일본어로 말하고 영어를 받으세요. 번역 품질은 주요 언어에 대해 강력하며 대부분의 전문적인 사용 사례에 적합하지만, 출판 수준의 번역은 원어민이 검토해야 합니다.
이는 영어 문서를 표준으로 사용하는 국제 연구 팀, 다국적 기업, 외국어 오디오 콘텐츠를 빠르게 이해하려는 콘텐츠 제작자에게 중요합니다. 로컬 파이프라인은 개인 정보용 원본 언어 오디오 워크플로를 위해 장치에서 실행될 수 있습니다.
모델 선택은 단순한 영어 받아쓰기보다 다국어 음성에서 더 큰 역할을 합니다. 작음(Small) 모델은 잘 적용되는 라틴 문자 기반 언어(독일어, 프랑스어, 스페인어, 포르투갈어, 이탈리아어 등)의 라이브 받아쓰기에 실용적인 기본값입니다. 비라틴 문자(한중일, 아랍어, 키릴 자모) 및 자원이 부족한 언어의 경우 중간(Medium) 모델이 일반적으로 적절한 단계입니다.
프로 사용자는 large-v2 및 large-v3 모델에 액세스할 수 있으며, 이는 짧은 라이브 클립보다는 긴 형식의 다국어 녹음 일괄 처리에 가장 유용합니다. 짧은 받아쓰기 조각에서 더 큰 모델은 과도하게 수정할 수 있으므로 추가 컨텍스트가 계산에 합당한 파일에 예약하세요. NVIDIA GPU가 있는 사용자는 CPU 전용 시스템보다 큰 모델 오디오를 의미 있게 더 빠르게 처리하여 긴 형식의 다국어 콘텐츠를 더 실용적으로 만들 수 있습니다.
StarWhisper는 필요한 모델을 사용할 수 있게 된 후 로컬에서 다국어 변환을 처리할 수 있습니다. 다국어 변환은 로컬 워크플로를 위해 별도의 클라우드 언어 서비스를 필요로 하지 않습니다. 이는 국가 간 데이터 규정 준수에 중요합니다. 독일 변호사가 고객 대화를 필사하고, 프랑스 기자가 소스를 인터뷰하고, 한국 연구원이 민감한 인터뷰 데이터를 처리하는 경우 모두 콘텐츠의 언어에 관계없이 로컬 처리의 혜택을 받을 수 있습니다. 프라이버시 고려사항에 대한 자세한 내용은 오프라인 음성 텍스트 변환 가이드를 참조하세요.
다국어 변환 환경은 실제 절충안이 있는 세 가지 독특한 범주로 나뉩니다.
| 도구 | 언어 | 처리 | 가격 | 비영어 정확도 |
|---|---|---|---|---|
| StarWhisper (large) | 96개 언어 | 100% 로컬 | 월 $10 정액 | 다름 |
| Google Cloud Speech | 100개 이상 언어 | 클라우드 업로드 | 분당 $0.016+ | 다름 |
| Otter.ai | 영어 위주 | 클라우드 업로드 | 월 $16.99 | 제한적 |
| Whisper CLI (raw) | 96개 언어 | 100% 로컬 | 무료 | 다름 |
| Azure Speech | 100개 이상 언어 | 클라우드 업로드 | 분당 $0.017 | 다름 |
원시 Whisper CLI는 동일한 기본 모델을 공유하므로 StarWhisper와 동일한 변환 품질을 생성합니다. StarWhisper가 추가하는 것은 Windows 데스크톱 UX, 실시간 마이크 받아쓰기, 플로팅 위젯, GPU 가속 사전 구성, 모든 애플리케이션에 대한 자동 텍스트 삽입입니다. 원시 Whisper와 StarWhisper 간의 선택은 도구를 원하느냐 워크플로를 원하느냐의 문제입니다.
Whisper의 다국어 정확도 벤치마크는 언어 그룹별로 상세한 단어 오류율 표를 포함하는 arXiv의 원본 Whisper 논문에 문서화되어 있습니다. 강력한 Whisper 훈련 적용 범위를 가진 유럽 언어는 일반적으로 더 큰 로컬 모델에서 잘 수행합니다. 자원이 부족한 언어의 경우 해당 언어에 구체적으로 투자한 클라우드 시스템이 여전히 우위를 가질 수 있습니다.
StarWhisper 설정에서 언어를 명시적으로 설정하세요. 명시적 선택은 자동 감지보다 약간 빠르며 짧은 오디오 클립이 잘못 식별되는 드문 경우를 방지합니다. 잘 적용되는 라틴 문자 기반 언어(독일어, 프랑스어, 스페인어, 포르투갈어, 이탈리아어)의 경우 작음(Small) 모델이 실용적인 기본값입니다. 비라틴 문자 및 자원이 부족한 언어의 경우 중간(Medium) 모델로 단계를 올리세요. 큰(Large) 모델은 추가 컨텍스트가 계산에 합당한 긴 형식 녹음의 일괄 처리를 위해 예약하는 것이 가장 좋습니다. 짧은 라이브 받아쓰기에서는 더 작은 모델이 종종 더 잘 수행하거나 동등하게 수행합니다.
큰 모델(Large model)과 함께 자동 감지 모드를 사용하세요. StarWhisper는 각 녹음에서 언어를 자동으로 식별할 수 있습니다. 언어를 전환하는 라이브 받아쓰기 세션의 경우 언어가 미리 구성된 두 개의 StarWhisper 프로필을 만들고 필요에 따라 전환하세요. 이는 빠른 전환을 위해 감지에 의존하는 것보다 빠릅니다. 워크플로 구성에 대한 자세한 내용은 음성 텍스트 변환 소프트웨어 개요를 참조하세요.
영어로 번역(Translate to English) 옵션을 활성화하세요. 이는 별도의 번역 서비스를 거치지 않고 비영어권 음성에서 직접 영어 텍스트를 생성합니다. 대부분의 전문적인 사용 사례의 경우 번역 품질은 메모, 요약, 작업 문서에 충분합니다. 법적 또는 출판 맥락의 경우 원어민이 출력을 검토하는 것이 좋습니다. 번역 품질은 스페인어, 프랑스어, 독일어, 포르투갈어, 이탈리아어 및 Whisper 훈련 세트에 잘 표현된 기타 언어에서 가장 높습니다.
StarWhisper의 로컬 처리는 모델을 사용할 수 있게 된 후 오프라인 워크플로를 위해 장치에 오디오를 유지할 수 있습니다. 이는 유럽의 GDPR에 민감한 작업, 오디오가 국경을 넘지 않아야 하는 맥락의 민감한 연구, 법적 관할권에 관계없이 주제가 기밀을 요하는 전문 맥락에 관련이 있습니다. 전체 프라이버시 내용은 오프라인 음성 텍스트 변환 페이지를 참조하세요.
StarWhisper를 다국어 사용으로 구성하는 데 약 10분이 걸리며, 대부분은 모델 다운로드를 기다리는 시간입니다. 그 후에는 지속적인 구성이 필요하지 않습니다.
로컬 오프라인 워크플로를 갖춘 Windows용 다국어 음성 텍스트 변환
StarWhisper 무료 다운로드Whisper는 코드 스위칭을 상당히 잘 처리하지만, 단일 언어로 된 완전한 문장이 밀집된 언어 혼합보다 더 정확한 출력을 생성합니다. 메모를 받아쓰면서 자연스럽게 언어를 전환한다면 문제 없습니다. 긴 블록으로 두 언어를 번갈아 가며 녹음을 처리하는 경우 변환하기 전에 언어 섹션별로 오디오를 분할하면 더 깨끗한 결과를 얻을 수 있습니다.
Whisper의 이전 시스템에 대한 강점은 영어가 가장 큽니다. 비영어권 언어의 경우 노이즈 및 압축 아티팩트가 정확도에 더 큰 부정적인 영향을 미칩니다. 배경 소음이 있는 녹음의 경우 오디오를 StarWhisper에 공급하기 전에 음성 향상 또는 노이즈 감소 전처리(Audacity의 노이즈 감소와 같은 무료 도구도 포함)를 하면 다국어 변환 정확도를 의미 있게 향상시킬 수 있습니다.
자동 감지는 편리하지만 약간의 처리 오버헤드를 추가합니다. 하루의 대부분을 한 언어로 변환하는 경우 명시적으로 설정하세요. 자동 감지는 녹음의 언어를 진정으로 모르는 상황이나 혼합 언어 파일의 일괄 처리를 위해 예약하세요.
Whisper는 대부분의 주요 언어에 대해 언어에 적합한 구두점 및 대문자화를 적용합니다. 독일어 명사는 자동으로 대문자로 표시됩니다. 프랑스어 구두점 간격 규칙은 일반적으로 따릅니다. 일본어 출력은 적절한 한자, 히라가나 및 가타카나를 사용합니다. 그러나 공식 문서의 경우 덜 일반적인 구두점과 고유 명사 대문자화에 대해 언어별 규칙의 최종 검토가 가치 있습니다.
StarWhisper는 Whisper 엔진을 통해 96개 언어를 지원합니다. 앱은 설정 드롭다운에 29개 이상 언어에 대한 언어 사전 설정을 포함합니다. 다른 언어는 ISO 코드로 선택할 수 있습니다. 언어 정확도는 Whisper 훈련 데이터 가용성에 따라 다르며 주요 세계 언어가 가장 잘 작동합니다.
네. 자동 감지(Auto-detect) 모드는 변환 시작 전 처음 몇 초의 오디오에서 말하는 언어를 식별합니다. 주요 언어의 경우 감지가 신뢰할 수 있습니다. 더 큰 언어와 음운론적 특징을 공유하는 소수 언어나 방언의 경우 언어를 수동으로 선택하면 더 일관된 결과를 얻을 수 있습니다.
아니요. Whisper는 모든 96개 언어를 처리하는 단일 모델입니다. large-v3 모델을 다운로드하면 모든 언어에 대한 완전한 다국어 기능을 갖게 됩니다. 언어별 모델 파일이나 언어 팩 다운로드는 없습니다.
네. 설정에서 영어로 번역(Translate to English) 옵션을 활성화하여 비영어권 음성에서 영어 텍스트 출력을 받으세요. 번역은 Whisper의 내장된 번역 기능을 사용하며 완전히 로컬에서 실행됩니다. 품질은 주요 유럽 및 동아시아 언어에서 가장 강력합니다. 공식 문서의 경우 원어민 검토가 권장됩니다.
강력한 Whisper 적용 범위를 가진 라틴 문자 기반 언어(독일어, 프랑스어, 스페인어, 포르투갈어, 이탈리아어 등)의 경우 작음(Small) 모델이 실용적인 기본값입니다. 비라틴 문자(한중일, 아랍어, 키릴 자모) 및 자원이 부족한 언어의 경우 중간(Medium) 모델로 단계를 올리세요. 큰(Large) 모델은 긴 형식의 다국어 녹음 일괄 변환을 위해 예약하는 것이 가장 좋습니다. 짧은 클립에서는 더 작은 모델이 더 짧은 세그먼트로 훈련되었으므로 종종 더 잘 수행합니다.
네, 필요한 모델을 사용할 수 있게 된 후 로컬 워크플로에 대해 작동합니다. 지원되는 언어의 오디오는 별도의 클라우드 언어 서비스 없이 로컬에서 처리할 수 있습니다.
Whisper는 언어가 음운론적으로 구별될 때 문장 내 언어 혼합(코드 스위칭)을 상당히 잘 처리합니다. 독일어 필사본의 영어 기술 용어나 영어 인터뷰의 프랑스어 구문은 일반적으로 올바르게 필사됩니다. 긴 섹션으로 두 언어를 번갈아 가며 녹음하는 경우 변환 전에 언어 섹션별로 오디오를 분할하면 더 깨끗한 결과를 얻을 수 있습니다.