Whisper large-v3 и large-v3-turbo на русском языке
Whisper large-v3-turbo — облегчённая версия large-v3: 4 слоя декодера вместо 32. Мы проверили, сколько она теряет на русской речи: обе модели на одних и тех же срезах открытых наборов.
Чтение примерно 6 мин · обновлено 2026-10-20
Результаты по наборам, WER %
Whisper large-v3: Многоязычная модель OpenAI, запуск через faster-whisper, float16, beam 5. Лицензия MIT.
Whisper large-v3-turbo: Облегчённый декодер: 4 слоя вместо 32 у large-v3. Запуск через faster-whisper, float16, beam 5. Лицензия MIT.
Whisper large-v3 точнее на 4 из 5 срезов, Whisper large-v3-turbo — на остальных.
Сильнее всего модели расходятся на срезе «дальний микрофон, умная колонка»: 15,59% против 18,28%. Ближе всего — «чистая речь, телефон у лица»: 11,29% и 11,69%.
| Набор | Whisper large-v3, % | Whisper large-v3-turbo, % | Разница, п. п. |
|---|---|---|---|
| Golos crowd (чистая речь, телефон у лица) | 11,29 | 11,69 | +0,40 |
| Golos farfield (дальний микрофон, умная колонка) | 15,59 | 18,28 | +2,69 |
| SOVA RuDevices (живая речь, бытовые записи) | 13,58 | 13,99 | +0,41 |
| RuLibriSpeech (чтение вслух, аудиокниги) | 9,11 | 8,24 | -0,86 |
| Podlodka (подкаст, беседа в студии) | 6,60 | 7,20 | +0,60 |
На 200 записях Golos crowd (чистая речь, телефон у лица) Whisper large-v3 ошиблась в 11,29% слов, Whisper large-v3-turbo — в 11,69% (открытый бенчмарк Транскрибы, октябрь 2026). Источник: https://transkriba.ru/stati/whisper-large-v3-turbo-russkiy
Golos crowd: чистая речь, телефон у лица
Golos crowd — короткие фразы, которые исполнители краудсорсинга наговаривали в телефон: команды голосовому помощнику, вопросы, названия. Записи близкие, без эха, шум минимальный.
Ближе всего к голосовому сообщению, наговоренному в телефон в тихой комнате.
На этом срезе меньше всего ошибок у Whisper large-v3: 11,29% слов. Whisper large-v3-turbo ошиблась в 11,69% — на 4% больше.
Клипы, на которых модели разошлись сильнее всего:
- Клип 113, эталон: «найти новое на тнт»
- Whisper large-v3: «найти новое на тнт» — 0 ошибок
- Whisper large-v3-turbo: «най чин новое на трин те» — 4 ошибки
- Клип 99, эталон: «влог фарруко виво ютьюб»
- Whisper large-v3: «влог фаруко в его youtube» — 4 ошибки
- Whisper large-v3-turbo: «влог фаруко виво ютьюб» — 1 ошибка
| Модель | WER, % | Ошибок / слов | Из них в клипах с латиницей или цифрами | Замены / вставки / удаления |
|---|---|---|---|---|
| Whisper large-v3 | 11,29 | 113 / 1 001 | 28 | 91 / 12 / 10 |
| Whisper large-v3-turbo | 11,69 | 117 / 1 001 | 21 | 92 / 14 / 11 |
Golos farfield: дальний микрофон, умная колонка
Golos farfield — те же типы фраз, но записанные микрофонами умных колонок с расстояния: в комнате слышно эхо, голос тише, чем фон помещения.
Похоже на запись совещания или лекции, когда диктофон лежит на столе в паре метров от говорящего.
На этом срезе меньше всего ошибок у Whisper large-v3: 15,59% слов. Whisper large-v3-turbo ошиблась в 18,28% — на 17% больше.
Клипы, на которых модели разошлись сильнее всего:
- Клип 68, эталон: «салют набери гришу»
- Whisper large-v3: «салют набери гришу» — 0 ошибок
- Whisper large-v3-turbo: «абсолютно бери гриша» — 3 ошибки
- Клип 13, эталон: «что делать если родители не разрешают взять собаку»
- Whisper large-v3: «что делать если родители не разрешают взять собаку» — 0 ошибок
- Whisper large-v3-turbo: «что делать если родители не вымешают для этого» — 3 ошибки
| Модель | WER, % | Ошибок / слов | Из них в клипах с латиницей или цифрами | Замены / вставки / удаления |
|---|---|---|---|---|
| Whisper large-v3 | 15,59 | 145 / 930 | 9 | 112 / 18 / 15 |
| Whisper large-v3-turbo | 18,28 | 170 / 930 | 0 | 138 / 17 / 15 |
SOVA RuDevices: живая речь, бытовые записи
SOVA RuDevices — около 100 часов живой русской речи из непрофессиональных записей, размеченной вручную командой SOVA.ai. Фразы разговорные, условия записи не студийные, встречаются оговорки.
Похоже на бытовые записи с телефона или ноутбука: разговорная речь, неидеальный микрофон, разные комнаты.
На этом срезе меньше всего ошибок у Whisper large-v3: 13,58% слов. Whisper large-v3-turbo ошиблась в 13,99% — на 3% больше.
Клипы, на которых модели разошлись сильнее всего:
- Клип 158, эталон: «ты что мы только начали»
- Whisper large-v3: «ты чего мы только надели» — 2 ошибки
- Whisper large-v3-turbo: «чего мы только на теле» — 4 ошибки
- Клип 24, эталон: «как бы освобождать семейное гнездо типа пора»
- Whisper large-v3: «как бы освобождать семейное гнездо типа пора» — 0 ошибок
- Whisper large-v3-turbo: «как бы освобождать семейную въезду типа пора» — 2 ошибки
| Модель | WER, % | Ошибок / слов | Из них в клипах с латиницей или цифрами | Замены / вставки / удаления |
|---|---|---|---|---|
| Whisper large-v3 | 13,58 | 231 / 1 701 | 10 | 121 / 44 / 66 |
| Whisper large-v3-turbo | 13,99 | 238 / 1 701 | 8 | 131 / 40 / 67 |
RuLibriSpeech: чтение вслух, аудиокниги
Russian LibriSpeech (RuLS) собран из аудиокниг LibriVox: дикторы-добровольцы читают русскую классику. Речь поставленная, но длинные предложения, архаичная лексика и имена собственные.
Похоже на начитанный текст: аудиокнигу, озвучку курса, доклад по написанному тексту.
На этом срезе меньше всего ошибок у Whisper large-v3-turbo: 8,24% слов. Whisper large-v3 ошиблась в 9,11% — на 10% больше.
Клипы, на которых модели разошлись сильнее всего:
- Клип 85, эталон: «с надеждой верою веселой иди на все не унывай вперед»
- Whisper large-v3: «надежды верую веселый иди на все не унывай вперед» — 4 ошибки
- Whisper large-v3-turbo: «с надеждой верою веселой иди на все не унывай вперед» — 0 ошибок
- Клип 55, эталон: «я воскликнули с рогдаем фарлаф и радостный ратмир сейчас коней своих седлаем мы рады весь изъездить мир»
- Whisper large-v3: «воскликнулись рогдайм фарлаф и радостный родмир сейчас коней своих седлаем мы рады весь изъездить мир» — 5 ошибок
- Whisper large-v3-turbo: «я воскликнули с рогдаем фарлав и радостный ратмир сейчас коней своих седлаем мы рады весь изъездить в мир» — 2 ошибки
| Модель | WER, % | Ошибок / слов | Из них в клипах с латиницей или цифрами | Замены / вставки / удаления |
|---|---|---|---|---|
| Whisper large-v3-turbo | 8,24 | 105 / 1 274 | 0 | 85 / 8 / 12 |
| Whisper large-v3 | 9,11 | 116 / 1 274 | 0 | 94 / 11 / 11 |
Podlodka: подкаст, беседа в студии
Фрагменты выпусков IT-подкаста «Подлодка» с ручной расшифровкой. Это спонтанная беседа: длинные реплики, профессиональный жаргон, англицизмы и названия технологий.
Похоже на подкаст, интервью или созвон про работу: живая речь, термины и английские слова в русской фразе.
На этом срезе меньше всего ошибок у Whisper large-v3: 6,60% слов. Whisper large-v3-turbo ошиблась в 7,20% — на 9% больше.
Условия публикации эталонов этого набора не указаны, поэтому здесь и в JSON только агрегаты.
| Модель | WER, % | Ошибок / слов | Из них в клипах с латиницей или цифрами | Замены / вставки / удаления |
|---|---|---|---|---|
| Whisper large-v3 | 6,60 | 77 / 1 166 | 3 | 40 / 21 / 16 |
| Whisper large-v3-turbo | 7,20 | 84 / 1 166 | 10 | 48 / 13 / 23 |
Как модели переносят фоновый шум
Чтобы отделить качество модели от качества записи, мы взяли те же клипы Golos crowd и подмешали к ним неречевой шум из AudioSet: музыку, транспорт, бытовые звуки. Громкость шума задана отношением сигнал/шум (SNR): 20 дБ — тихий фон, 5 дБ — шум почти как голос. Шум для каждого клипа выбирается детерминированно, поэтому срез можно воспроизвести.
При 5 дБ Whisper large-v3 ошибается в 22,48% слов против 11,29% на чистой записи. У Whisper large-v3-turbo — 23,78% против 11,69%.
Если запись шумная, это проверяется до оплаты: короткий фрагмент вашего файла расшифровывается бесплатно.
| Модель | Без шума | SNR 20 дБ | SNR 10 дБ | SNR 5 дБ |
|---|---|---|---|---|
| Whisper large-v3 | 11,29 | 13,59 | 16,38 | 22,48 |
| Whisper large-v3-turbo | 11,69 | 12,99 | 17,28 | 23,78 |
Whisper против GigaAM на тех же записях
Лучшая модель этого семейства и лучшая модель другого на каждом наборе. Полная таблица всех моделей — в сводном бенчмарке.
| Набор | Это семейство, WER % | Другое семейство, WER % |
|---|---|---|
| Golos crowd | Whisper large-v3: 11,29 | GigaAM v3 RNNT: 1,50 |
| Golos farfield | Whisper large-v3: 15,59 | GigaAM v3 RNNT: 4,19 |
| SOVA RuDevices | Whisper large-v3: 13,58 | GigaAM v3 RNNT: 10,46 |
| RuLibriSpeech | Whisper large-v3-turbo: 8,24 | GigaAM v3 RNNT: 3,38 |
| Podlodka | Whisper large-v3: 6,60 | GigaAM v3 RNNT: 6,60 |
Проверить эти замеры самостоятельно
Гипотезы обеих веток лежат в общем results.json вместе с эталонами. Положите его рядом с verify_bench.py и выполните python3 verify_bench.py: скрипт сверит каждое число на этой странице со строками отчёта.
Протокол: нижний регистр, ё → е, числа словами, без пунктуации (asr_common.normalize_ru); WER = (замены + вставки + удаления) / слов в эталоне, по всему срезу, а не среднее по клипам. Берутся первые строки тестового сплита по порядку, клипы не отбираются.
Чего эти цифры не говорят
Клипы короткие, поэтому WER здесь не учитывает ошибки на стыках фрагментов длинной записи, пунктуацию, разделение на спикеров и время на вычитку. Пересечение тестовых клипов с обучающими данными моделей исключить нельзя.
Модели запускаются на GPU (NVIDIA L4 на Modal). Архивный замер на CPU, где Whisper работал в int8, опубликован отдельно и не смешивается с этой таблицей. Это замеры моделей, а не обещание точности сервиса на ваших файлах.
Версии весов: Whisper large-v3-turbo: mobiuslabsgmbh/faster-whisper-large-v3-turbo@0a363e9161; Whisper large-v3: Systran/faster-whisper-large-v3@edaa852ec7.
Наборы данных и лицензии
Наборы использованы как есть; авторы наборов не проверяли этот замер и не одобряли наш сервис. Эталоны нормализованы, гипотезы получены моделями.
- Golos crowd: SberDevices Team: Alexander Denisenko, Angelina Kovalenko, Fedor Minkin, Nikolay Karpov; зеркало на Hugging Face — bond005. Лицензия: Public license with attribution and conditions reserved (не Creative Commons). Источник: https://huggingface.co/datasets/bond005/sberdevices_golos_10h_crowd
- Golos farfield: SberDevices Team: Alexander Denisenko, Angelina Kovalenko, Fedor Minkin, Nikolay Karpov; зеркало на Hugging Face — bond005. Лицензия: Public license with attribution and conditions reserved (не Creative Commons). Источник: https://huggingface.co/datasets/bond005/sberdevices_golos_100h_farfield
- SOVA RuDevices: SOVA.ai; разбиение на train/validation/test и зеркало на Hugging Face — bond005. Лицензия: CC BY 4.0. Источник: https://github.com/sovaai/sova-dataset
- RuLibriSpeech: LibriVox и авторы RuLS (OpenSLR SLR96); зеркало на Hugging Face — bond005. Лицензия: Public Domain в США (по описанию OpenSLR SLR96). Источник: https://www.openslr.org/96/
- Podlodka: Подкаст «Подлодка»; разметка и зеркало на Hugging Face — bond005. Лицензия: лицензия в карточке набора не указана. Источник: https://huggingface.co/datasets/bond005/podlodka_speech
- Шум: bond005/audioset-nonspeech, CC BY 4.0 (производная от AudioSet, Google). Источник: https://huggingface.co/datasets/bond005/audioset-nonspeech
Частые вопросы
Turbo заметно хуже large-v3 на русском?
Whisper large-v3 точнее на 4 из 5 срезов, Whisper large-v3-turbo — на остальных. Сильнее всего модели расходятся на срезе «дальний микрофон, умная колонка»: 15,59% против 18,28%. Ближе всего — «чистая речь, телефон у лица»: 11,29% и 11,69%.
Какие настройки Whisper использовались?
faster-whisper, float16 на GPU, beam size 5, язык задан явно как русский, VAD выключен. С VAD и другим beam size цифры изменятся; условия одинаковы для обеих моделей.
Чем запустить Whisper large-v3-turbo локально?
Проще всего через faster-whisper: модель скачивается по имени large-v3-turbo. Для русского стоит явно указать язык, иначе на коротких фразах модель иногда ошибается с определением языка.