Модели распознавания русской речи: открытый бенчмарк
Мы прогоняем открытые модели распознавания речи на одинаковых срезах русских наборов и публикуем WER вместе с гипотезами моделей, чтобы любую цифру можно было пересчитать.
Чтение примерно 7 мин · обновлено 2026-10-20
Сводная таблица: WER по наборам, %
4 модели на 5 наборах русской речи. WER — доля слов, которые модель заменила, пропустила или вставила лишнего. Меньше — лучше. Прочерк — ячейка ещё не измерена; таблица дополняется автоматически.
На всех 5 срезах, где измерено больше одной модели, меньше всего ошибок у GigaAM v3 RNNT.
Разрыв между лучшей GigaAM и лучшей Whisper сильно зависит от записи: больше всего на срезе «чистая речь, телефон у лица» (1,50% против 11,29%), а на срезе «подкаст, беседа в студии» лучшие модели двух семейств сравнялись: 6,60% и 6,60%.
| Модель | Golos crowd | Golos farfield | SOVA RuDevices | RuLibriSpeech | Podlodka |
|---|---|---|---|---|---|
| GigaAM v3 E2E RNNT (в Транскрибе) | 5,39 | 5,27 | 11,17 | 5,49 | 7,12 |
| GigaAM v3 RNNT | 1,50 | 4,19 | 10,46 | 3,38 | 6,60 |
| Whisper large-v3 | 11,29 | 15,59 | 13,58 | 9,11 | 6,60 |
| Whisper large-v3-turbo | 11,69 | 18,28 | 13,99 | 8,24 | 7,20 |
На 200 записях Golos crowd (чистая речь, телефон у лица) GigaAM v3 RNNT ошиблась в 1,50% слов, Whisper large-v3-turbo — в 11,69% (открытый бенчмарк Транскрибы, октябрь 2026). Источник: https://transkriba.ru/stati/modeli-raspoznavaniya-russkoy-rechi
Golos crowd: чистая речь, телефон у лица
Golos crowd — короткие фразы, которые исполнители краудсорсинга наговаривали в телефон: команды голосовому помощнику, вопросы, названия. Записи близкие, без эха, шум минимальный.
Ближе всего к голосовому сообщению, наговоренному в телефон в тихой комнате.
На этом срезе меньше всего ошибок у GigaAM v3 RNNT: 1,50% слов. Whisper large-v3-turbo ошиблась в 11,69% — в 7,8 раза больше.
Часть ошибок здесь — форма записи, а не неверно услышанные слова. У GigaAM v3 E2E RNNT 24 из 54 — в клипах, где модель написала слово латиницей или цифрами, а эталон записан кириллицей словами: «youtube» вместо «ютьюб», «hd» вместо «аш ди», номер телефона цифрами. WER засчитывает это как ошибку; мы оставляем цифру как есть и показываем долю отдельным столбцом.
Клип, на котором модели разошлись сильнее всего:
- Клип 198, эталон: «четыре четыреста восемь восемьсот тридцать четыре семьдесят один шестьдесят шесть»
- GigaAM v3 E2E RNNT: «четыре четыреста восемь восемьсот тридцать четыре семьдесят один шестьдесят шесть» — 0 ошибок
- GigaAM v3 RNNT: «четыре четыреста восемь восемьсот тридцать четыре семьдесят один шестьдесят шесть» — 0 ошибок
- Whisper large-v3: «четыре миллиона четыреста восемь тысяч восемьсот тридцать четыре семь тысяч сто шестьдесят шесть» — 5 ошибок
- Whisper large-v3-turbo: «четыре миллиона четыреста восемь тысяч восемьсот тридцать четыре семьдесят один шестьдесят шесть» — 2 ошибки
| Модель | WER, % | Ошибок / слов | Из них в клипах с латиницей или цифрами | Замены / вставки / удаления |
|---|---|---|---|---|
| GigaAM v3 RNNT | 1,50 | 15 / 1 001 | 0 | 12 / 2 / 1 |
| GigaAM v3 E2E RNNT | 5,39 | 54 / 1 001 | 24 | 41 / 6 / 7 |
| Whisper large-v3 | 11,29 | 113 / 1 001 | 28 | 91 / 12 / 10 |
| Whisper large-v3-turbo | 11,69 | 117 / 1 001 | 21 | 92 / 14 / 11 |
Golos farfield: дальний микрофон, умная колонка
Golos farfield — те же типы фраз, но записанные микрофонами умных колонок с расстояния: в комнате слышно эхо, голос тише, чем фон помещения.
Похоже на запись совещания или лекции, когда диктофон лежит на столе в паре метров от говорящего.
На этом срезе меньше всего ошибок у GigaAM v3 RNNT: 4,19% слов. Whisper large-v3-turbo ошиблась в 18,28% — в 4,4 раза больше.
Клип, на котором модели разошлись сильнее всего:
- Клип 91, эталон: «афина какая еда самая вредная»
- GigaAM v3 E2E RNNT: «афина кайда самая вредная» — 2 ошибки
- GigaAM v3 RNNT: «афина кайда самая вредная» — 2 ошибки
- Whisper large-v3: «субтитры сделал dimatorzok» — 5 ошибок
- Whisper large-v3-turbo: «я не знаю что это самое время» — 7 ошибок
| Модель | WER, % | Ошибок / слов | Из них в клипах с латиницей или цифрами | Замены / вставки / удаления |
|---|---|---|---|---|
| GigaAM v3 RNNT | 4,19 | 39 / 930 | 0 | 34 / 3 / 2 |
| GigaAM v3 E2E RNNT | 5,27 | 49 / 930 | 1 | 37 / 2 / 10 |
| Whisper large-v3 | 15,59 | 145 / 930 | 9 | 112 / 18 / 15 |
| Whisper large-v3-turbo | 18,28 | 170 / 930 | 0 | 138 / 17 / 15 |
SOVA RuDevices: живая речь, бытовые записи
SOVA RuDevices — около 100 часов живой русской речи из непрофессиональных записей, размеченной вручную командой SOVA.ai. Фразы разговорные, условия записи не студийные, встречаются оговорки.
Похоже на бытовые записи с телефона или ноутбука: разговорная речь, неидеальный микрофон, разные комнаты.
На этом срезе меньше всего ошибок у GigaAM v3 RNNT: 10,46% слов. Whisper large-v3-turbo ошиблась в 13,99% — на 34% больше.
Клип, на котором модели разошлись сильнее всего:
- Клип 34, эталон: «тебе тоже нужно да»
- GigaAM v3 E2E RNNT: «тебе тоже нужно да» — 0 ошибок
- GigaAM v3 RNNT: «тебе тоже нужен» — 2 ошибки
- Whisper large-v3: «ты тоже кружуна» — 3 ошибки
- Whisper large-v3-turbo: «четыре года» — 4 ошибки
| Модель | WER, % | Ошибок / слов | Из них в клипах с латиницей или цифрами | Замены / вставки / удаления |
|---|---|---|---|---|
| GigaAM v3 RNNT | 10,46 | 178 / 1 701 | 0 | 93 / 43 / 42 |
| GigaAM v3 E2E RNNT | 11,17 | 190 / 1 701 | 10 | 100 / 59 / 31 |
| Whisper large-v3 | 13,58 | 231 / 1 701 | 10 | 121 / 44 / 66 |
| Whisper large-v3-turbo | 13,99 | 238 / 1 701 | 8 | 131 / 40 / 67 |
RuLibriSpeech: чтение вслух, аудиокниги
Russian LibriSpeech (RuLS) собран из аудиокниг LibriVox: дикторы-добровольцы читают русскую классику. Речь поставленная, но длинные предложения, архаичная лексика и имена собственные.
Похоже на начитанный текст: аудиокнигу, озвучку курса, доклад по написанному тексту.
На этом срезе меньше всего ошибок у GigaAM v3 RNNT: 3,38% слов. Whisper large-v3 ошиблась в 9,11% — в 2,7 раза больше.
Клип, на котором модели разошлись сильнее всего:
- Клип 8, эталон: «там о заре прихлынут волны на брег песчаный и пустой и тридцать витязей прекрасных чредой из вод выходят ясных и с ними дядька их морской»
- GigaAM v3 E2E RNNT: «там о заре прихлынут волны на брег песчаный и пустой и тридцать витязей прекрасных чредой из вод выходят ясных и с ними дядька их морской» — 0 ошибок
- GigaAM v3 RNNT: «там о заре прихлынут волны на брег песчаный и пустой и тридцать витязей прекрасных чредой из вод выходят ясных и с ними дядька их морской» — 0 ошибок
- Whisper large-v3: «мазаре прихлынут волны на брег песчаный и пустой и тридцать витязей прекрасных чередой из вод выходит ясных и с ними дядька их морской» — 5 ошибок
- Whisper large-v3-turbo: «на заре прихлынут волны на брег песчаный и пустой и тридцать витязей прекрасных чередой из вод выходит ясных и с ними дядька их морской» — 4 ошибки
| Модель | WER, % | Ошибок / слов | Из них в клипах с латиницей или цифрами | Замены / вставки / удаления |
|---|---|---|---|---|
| GigaAM v3 RNNT | 3,38 | 43 / 1 274 | 0 | 39 / 2 / 2 |
| GigaAM v3 E2E RNNT | 5,49 | 70 / 1 274 | 0 | 53 / 11 / 6 |
| Whisper large-v3-turbo | 8,24 | 105 / 1 274 | 0 | 85 / 8 / 12 |
| Whisper large-v3 | 9,11 | 116 / 1 274 | 0 | 94 / 11 / 11 |
Podlodka: подкаст, беседа в студии
Фрагменты выпусков IT-подкаста «Подлодка» с ручной расшифровкой. Это спонтанная беседа: длинные реплики, профессиональный жаргон, англицизмы и названия технологий.
Похоже на подкаст, интервью или созвон про работу: живая речь, термины и английские слова в русской фразе.
На этом срезе меньше всего ошибок у GigaAM v3 RNNT: 6,60% слов. Whisper large-v3-turbo ошиблась в 7,20% — на 9% больше.
Условия публикации эталонов этого набора не указаны, поэтому здесь и в JSON только агрегаты.
| Модель | WER, % | Ошибок / слов | Из них в клипах с латиницей или цифрами | Замены / вставки / удаления |
|---|---|---|---|---|
| GigaAM v3 RNNT | 6,60 | 77 / 1 166 | 0 | 41 / 15 / 21 |
| Whisper large-v3 | 6,60 | 77 / 1 166 | 3 | 40 / 21 / 16 |
| GigaAM v3 E2E RNNT | 7,12 | 83 / 1 166 | 6 | 48 / 27 / 8 |
| Whisper large-v3-turbo | 7,20 | 84 / 1 166 | 10 | 48 / 13 / 23 |
Как модели переносят фоновый шум
Чтобы отделить качество модели от качества записи, мы взяли те же клипы Golos crowd и подмешали к ним неречевой шум из AudioSet: музыку, транспорт, бытовые звуки. Громкость шума задана отношением сигнал/шум (SNR): 20 дБ — тихий фон, 5 дБ — шум почти как голос. Шум для каждого клипа выбирается детерминированно, поэтому срез можно воспроизвести.
При 5 дБ GigaAM v3 RNNT ошибается в 5,19% слов против 1,50% на чистой записи. У Whisper large-v3-turbo — 23,78% против 11,69%.
Если запись шумная, это проверяется до оплаты: короткий фрагмент вашего файла расшифровывается бесплатно.
| Модель | Без шума | SNR 20 дБ | SNR 10 дБ | SNR 5 дБ |
|---|---|---|---|---|
| GigaAM v3 E2E RNNT | 5,39 | 5,99 | 7,79 | 9,79 |
| GigaAM v3 RNNT | 1,50 | 1,60 | 3,10 | 5,19 |
| Whisper large-v3 | 11,29 | 13,59 | 16,38 | 22,48 |
| Whisper large-v3-turbo | 11,69 | 12,99 | 17,28 | 23,78 |
Как пересчитать любую цифру
Все прогоны лежат в одном JSON: для каждого набора и модели — гипотезы, эталоны, агрегат и хеш весов модели. Скрипт verify_bench.py пересчитывает WER по строкам без сторонних библиотек и проверяет, что у моделей внутри набора одинаковые клипы и эталоны.
Протокол: нижний регистр, ё → е, числа словами, без пунктуации (asr_common.normalize_ru); WER = (замены + вставки + удаления) / слов в эталоне, по всему срезу, а не среднее по клипам. Берутся первые строки тестового сплита по порядку, клипы не отбираются.
Чего эти цифры не говорят
Клипы короткие, поэтому WER здесь не учитывает ошибки на стыках фрагментов длинной записи, пунктуацию, разделение на спикеров и время на вычитку. Пересечение тестовых клипов с обучающими данными моделей исключить нельзя.
Модели запускаются на GPU (NVIDIA L4 на Modal). Архивный замер на CPU, где Whisper работал в int8, опубликован отдельно и не смешивается с этой таблицей. Это замеры моделей, а не обещание точности сервиса на ваших файлах.
Версии весов: GigaAM v3 E2E RNNT: ai-sage/GigaAM-v3@7655ad717f; GigaAM v3 RNNT: ai-sage/GigaAM-v3@c7f128b8ac; Whisper large-v3-turbo: mobiuslabsgmbh/faster-whisper-large-v3-turbo@0a363e9161; Whisper large-v3: Systran/faster-whisper-large-v3@edaa852ec7.
Наборы данных и лицензии
Наборы использованы как есть; авторы наборов не проверяли этот замер и не одобряли наш сервис. Эталоны нормализованы, гипотезы получены моделями.
- GigaAM v3 на русской речи: замеры E2E RNNT и RNNT
- Whisper large-v3 и large-v3-turbo на русском языке
- Что влияет на точность распознавания
- Golos crowd: SberDevices Team: Alexander Denisenko, Angelina Kovalenko, Fedor Minkin, Nikolay Karpov; зеркало на Hugging Face — bond005. Лицензия: Public license with attribution and conditions reserved (не Creative Commons). Источник: https://huggingface.co/datasets/bond005/sberdevices_golos_10h_crowd
- Golos farfield: SberDevices Team: Alexander Denisenko, Angelina Kovalenko, Fedor Minkin, Nikolay Karpov; зеркало на Hugging Face — bond005. Лицензия: Public license with attribution and conditions reserved (не Creative Commons). Источник: https://huggingface.co/datasets/bond005/sberdevices_golos_100h_farfield
- SOVA RuDevices: SOVA.ai; разбиение на train/validation/test и зеркало на Hugging Face — bond005. Лицензия: CC BY 4.0. Источник: https://github.com/sovaai/sova-dataset
- RuLibriSpeech: LibriVox и авторы RuLS (OpenSLR SLR96); зеркало на Hugging Face — bond005. Лицензия: Public Domain в США (по описанию OpenSLR SLR96). Источник: https://www.openslr.org/96/
- Podlodka: Подкаст «Подлодка»; разметка и зеркало на Hugging Face — bond005. Лицензия: лицензия в карточке набора не указана. Источник: https://huggingface.co/datasets/bond005/podlodka_speech
- Шум: bond005/audioset-nonspeech, CC BY 4.0 (производная от AudioSet, Google). Источник: https://huggingface.co/datasets/bond005/audioset-nonspeech
Частые вопросы
Какая открытая модель точнее всего распознаёт русскую речь по этим замерам?
На всех 5 срезах, где измерено больше одной модели, меньше всего ошибок у GigaAM v3 RNNT.
Какую модель использует Транскриба и как она выглядит в таблице?
Для русского — GigaAM v3 E2E RNNT. На измеренных срезах её WER от 5,27% до 11,17%. В сервисе к ней добавлены нарезка длинных записей, VAD и разделение на спикеров — их этот замер не оценивает. Часть её ошибок здесь — бренды латиницей и числа цифрами, разбор по наборам выше.
Почему WER Whisper здесь ниже или выше, чем в статьях про Whisper?
WER зависит от набора, нормализации текста и способа усреднения. Здесь ошибки суммируются по всему срезу и делятся на число слов эталона, а числа в тексте приводятся к словам. Цифры из разных замеров нельзя ставить в одну таблицу.
Как часто обновляется таблица?
Раннер на GPU раз в сутки проверяет, какие сочетания модели и набора ещё не измерены, и досчитывает их. Новая ячейка появляется на странице без ручной правки, дата обновления меняется. Сейчас измерено 32 ячейки.