Готовый установщик с бэкендами CUDA, Vulkan и CPU. Никакой компиляции, Python или поиска моделей. Выберите модель, нажмите запись и получите текст. Полностью офлайн и цифровой подписью.
whisper.cpp — это порт модели распознавания речи OpenAI Whisper на C++, созданный Георги Гергановым и поддерживаемый как проект с открытым исходным кодом на GitHub. Оригинальная модель Whisper была выпущена на Python, что создает значительные практические барьеры для развертывания на Windows: установка Python, виртуальные окружения, сопоставление версий PyTorch и CUDA toolkit, а также работа через командную строку. whisper.cpp устраняет все эти зависимости, реализуя движок вывода Whisper на переносимом C++, который компилируется в нативный бинарный файл.
Для пользователей Windows whisper.cpp означает, что локальное распознавание речи Whisper доступно без какой-либо инфраструктуры Python. Скомпилированный бинарный файл работает непосредственно на Windows, поддерживает ускорение GPU через NVIDIA CUDA и использует те же веса модели Whisper, что и реализация на Python. whisper.cpp на Windows — это то, что делает возможным StarWhisper. Это движок, обеспечивающий локальную транскрибацию, не требуя от пользователей управления окружениями Python или инструментами командной строки.
На этой странице описано, что делает whisper.cpp на Windows, как StarWhisper упаковывает его в настольное приложение, какие конфигурации оборудования поддерживаются и как whisper.cpp сравнивается с запуском Whisper на Python в Windows.
whisper.cpp поддерживает все пять размеров моделей Whisper: tiny (39M параметров), base (74M), small (244M), medium (769M) и large-v3 (1,5B). Файлы моделей представляют собой стандартные веса в формате GGML, которые можно загрузить из репозитория моделей Hugging Face или включить в установщики. StarWhisper включает модели tiny, base и small в полный установщик; модели medium и large доступны для загрузки в версии Pro.
whisper.cpp включает поддержку CUDA, которая обеспечивает 5–15-кратное ускорение по сравнению с выводом только на CPU для моделей medium и large. Для вывода на GPU требуется видеокарта NVIDIA с вычислительной способностью CUDA 5.0 или выше (фактически любой GPU NVIDIA серии GTX 900 или новее). StarWhisper автоматически обнаруживает GPU NVIDIA при запуске и автоматически направляет обработку на CUDA, если он доступен.
Один и тот же файл модели обрабатывает все 96 языков, которые поддерживает Whisper. Указание языка — это параметр среды выполнения, а не отдельная загрузка модели. whisper.cpp также реализует режим перевода Whisper, который транскрибирует аудио на одном языке, выводя текст на английском. StarWhisper предоставляет как выбор языка, так и перевод на английский как пользовательские опции.
whisper.cpp выдает временные метки на уровне слов и сегментов вместе с текстом транскрипции. StarWhisper использует их для создания файлов субтитров SRT и для отображения временных меток в панели вывода транскрипции. Временные метки точны до нескольких сотен миллисекунд при стандартном темпе речи.
whisper.cpp реализует оптимизации CPU SIMD (AVX, AVX2, AVX-512, где доступно) для более быстрого вывода на машинах без GPU NVIDIA. Поддержка GPU AMD через ROCm доступна в некоторых сборках. Поддержка Apple Metal существует для сборок Mac; это не актуально для Windows, но иллюстрирует инвестиции проекта whisper.cpp в кроссплатформенную оптимизацию.
StarWhisper поставляет предварительно скомпилированный бинарный файл whisper.cpp для Windows x64. Этот бинарный файл статически связан со своими зависимостями, где это возможно, что минимизирует требования к зависимостям среды выполнения. Установка не требует Python, Conda, pip или любого диспетчера пакетов. Весь программный стек устанавливается через стандартный установщик Windows менее чем за минуту.
Пользовательский интерфейс StarWhisper построен на Electron, который обеспечивает уровень кроссплатформенного GUI. Фронтенд Electron взаимодействует с серверным процессом whisper.cpp через механизм локального IPC. С точки зрения пользователя, это полностью прозрачно: приложение представляется как стандартное приложение Windows. Процесс whisper.cpp работает отдельно от GUI, поэтому тяжелые нагрузки на транскрибацию не блокируют интерфейс.
Сборки whisper.cpp с поддержкой CUDA требуют библиотек среды выполнения CUDA. StarWhisper включает необходимые файлы среды выполнения CUDA, поэтому пользователям не нужно устанавливать полный набор инструментов CUDA отдельно. На системе пользователя должен быть присутствовать только драйвер GPU NVIDIA. Включенная среда выполнения CUDA совместима со всеми поддерживаемыми драйверами GPU NVIDIA за последние несколько лет.
Файлы моделей whisper.cpp находятся в формате GGML, размером от ~75 МБ (tiny) до ~3 ГБ (large-v3). StarWhisper обрабатывает загрузку, место хранения и выбор моделей через панель «Настройки». Пользователи не взаимодействуют с необработанными файлами моделей. Приложение проверяет целостность файла модели после загрузки и предупреждает пользователей, если файл модели поврежден или неполон.
Загрузка модели Whisper в память занимает 2–10 секунд в зависимости от размера модели и скорости хранилища. StarWhisper сохраняет рабочий процесс whisper.cpp запущенным постоянно с загруженной выбранной моделью, поэтому отдельные запросы на транскрибацию не несут временных затрат на загрузку модели. Именно эта архитектура обеспечивает быстрый ответ StarWhisper в реальном времени: модель всегда готова, а не загружается по запросу.
Эти оценки производительности приведены для 60-минутного аудиофайла, обработанного с помощью whisper.cpp на Windows:
| Модель | Только CPU (современный ПК) | RTX 3070 (GPU) | Требуется RAM |
|---|---|---|---|
| tiny | ~6 мин | ~1 мин | ~1 ГБ |
| small | ~60 мин | ~4 мин | ~2 ГБ |
| medium | ~200 мин | ~15 мин | ~5 ГБ |
| large-v3 | ~600 мин | ~40 мин | ~10 ГБ |
Оценки варьируются в зависимости от поколения CPU/GPU, характеристик аудио и системной нагрузки. Требования к GPU RAM относятся к VRAM во время вывода; требования к системной RAM ниже для вывода на CPU. В репозитории whisper.cpp на GitHub есть общественные бенчмарки для более широкого диапазона конфигураций оборудования.
По умолчанию используйте модель small. В наших бенчмарках в авто-режиме на смешанной диктовке и аудио встреч small стабильно превосходила medium и large на коротких клипах. Medium и large чаще «галлюцинируют» на вводе с коротким контекстом (вероятно, потому что они были обучены на более длинных сегментах). Small работает примерно со скоростью реального времени на современном процессорном CPU и выдает чистый результат на языках с латинской графикой без GPU.
Используйте medium только для нелатинских письменностей (CJK, арабский, кириллица) или длинного непрерывного аудио. Используйте large-v3 только тогда, когда точность важнее скорости, и у вас есть GPU. На коротких клипах диктовки обе более крупные модели, вероятно, будут вставлять фразы, которые никогда не произносились. Если вы не уверены, какую выбрать, оставайтесь на small.
Ускорение CUDA происходит автоматически. RTX 3060 или лучше с 8 ГБ VRAM запускает модель small со скоростью 8–10x реального времени и модель medium со скоростью 3–4x реального времени. Для модели large-v3 требуется 10 ГБ VRAM, в противном случае происходит переход на CPU для переполнения. Даже на мощном GPU small остается рекомендуемой моделью по умолчанию для короткой диктовки; large предназначена для пакетной транскрибации длинного аудио.
Windows 10/11 (64-бит), 8 ГБ RAM, любой современный многоядерный CPU. Для ускорения GPU: NVIDIA GeForce GTX 1060 6 ГБ или лучше с актуальными драйверами NVIDIA. SSD значительно сокращают время загрузки модели, но минимально влияют на скорость вывода после загрузки модели в память.
Нет. StarWhisper включает предварительно скомпилированный бинарный файл whisper.cpp для Windows. Никакого Python, Conda или настройки командной строки не требуется. Установите StarWhisper, и whisper.cpp готов к использованию через графический интерфейс.
whisper.cpp имеет экспериментальную поддержку GPU AMD ROCm, но она значительно менее зрела, чем поддержка NVIDIA CUDA на Windows. StarWhisper в настоящее время нацелен на NVIDIA CUDA для ускорения GPU. Пользователи GPU AMD должны ожидать производительности на уровне CPU, а не производительности с ускорением GPU.
Да, для практических целей. whisper.cpp использует те же веса модели в формате GGML, что и реализация на Python, и обеспечивает эквивалентную точность. Существуют незначительные числовые различия из-за различий в точности с плавающей запятой в GGML по сравнению с PyTorch, но они не заметны в реальных результатах транскрибации.
tiny: ~75 МБ, base: ~145 МБ, small: ~465 МБ, medium: ~1,5 ГБ, large-v3: ~3 ГБ. Полный установщик StarWhisper с bundled моделями tiny + base + small занимает около 700 МБ. Дополнительные модели загружаются по требованию из панели «Настройки».
StarWhisper делает whisper.cpp доступным на Windows без Python, работы с командной строкой или установки набора инструментов CUDA. Бесплатный тариф без учетной записи. Pro за $10/месяц для неограниченного использования и более крупных моделей.