GigaAM v3 на русской речи: замеры E2E RNNT и RNNT
GigaAM v3 — открытая модель Сбера для русской речи. Здесь две её ветки, E2E RNNT и RNNT, измерены на одних и тех же срезах открытых наборов.
Чтение примерно 6 мин · обновлено 2026-10-20
Результаты по наборам, WER %
GigaAM v3 E2E RNNT: Ветка с пунктуацией и нормализацией чисел. Её использует Транскриба для русского языка. Лицензия MIT.
GigaAM v3 RNNT: Сырая ветка без пунктуации: строчные буквы, числа словами. Лицензия MIT.
GigaAM v3 RNNT точнее GigaAM v3 E2E RNNT на всех 5 срезах.
Сильнее всего ветки расходятся на срезе «чистая речь, телефон у лица»: 5,39% против 1,50%. Ближе всего — «подкаст, беседа в студии»: 7,12% и 6,60%.
| Набор | GigaAM v3 E2E RNNT, % | GigaAM v3 RNNT, % | Разница, п. п. |
|---|---|---|---|
| Golos crowd (чистая речь, телефон у лица) | 5,39 | 1,50 | -3,90 |
| Golos farfield (дальний микрофон, умная колонка) | 5,27 | 4,19 | -1,08 |
| SOVA RuDevices (живая речь, бытовые записи) | 11,17 | 10,46 | -0,71 |
| RuLibriSpeech (чтение вслух, аудиокниги) | 5,49 | 3,38 | -2,12 |
| Podlodka (подкаст, беседа в студии) | 7,12 | 6,60 | -0,51 |
На 200 записях Golos crowd (чистая речь, телефон у лица) GigaAM v3 RNNT ошиблась в 1,50% слов, GigaAM v3 E2E RNNT — в 5,39% (открытый бенчмарк Транскрибы, октябрь 2026). Источник: https://transkriba.ru/stati/gigaam-v3-tochnost
Golos crowd: чистая речь, телефон у лица
Golos crowd — короткие фразы, которые исполнители краудсорсинга наговаривали в телефон: команды голосовому помощнику, вопросы, названия. Записи близкие, без эха, шум минимальный.
Ближе всего к голосовому сообщению, наговоренному в телефон в тихой комнате.
На этом срезе меньше всего ошибок у GigaAM v3 RNNT: 1,50% слов. GigaAM v3 E2E RNNT ошиблась в 5,39% — в 3,6 раза больше.
Часть ошибок здесь — форма записи, а не неверно услышанные слова. У GigaAM v3 E2E RNNT 24 из 54 — в клипах, где модель написала слово латиницей или цифрами, а эталон записан кириллицей словами: «youtube» вместо «ютьюб», «hd» вместо «аш ди», номер телефона цифрами. WER засчитывает это как ошибку; мы оставляем цифру как есть и показываем долю отдельным столбцом.
Клипы, на которых модели разошлись сильнее всего:
- Клип 60, эталон: «девять четыреста семьдесят два восемьсот двадцать четыре шестьдесят пять тридцать»
- GigaAM v3 E2E RNNT: «девять миллионов четыреста семьдесят две тысячи восемьсот двадцать четыре шестьдесят пять» — 4 ошибки
- GigaAM v3 RNNT: «девять четыреста семьдесят два восемьсот двадцать четыре шестьдесят пять тридцать» — 0 ошибок
- Клип 199, эталон: «покажи на смотрешке бокс тв плюс»
- GigaAM v3 E2E RNNT: «покажи на смотрешке box tv plus» — 3 ошибки
- GigaAM v3 RNNT: «покажи на смотрешке бокс тв плюс» — 0 ошибок
| Модель | WER, % | Ошибок / слов | Из них в клипах с латиницей или цифрами | Замены / вставки / удаления |
|---|---|---|---|---|
| GigaAM v3 RNNT | 1,50 | 15 / 1 001 | 0 | 12 / 2 / 1 |
| GigaAM v3 E2E RNNT | 5,39 | 54 / 1 001 | 24 | 41 / 6 / 7 |
Golos farfield: дальний микрофон, умная колонка
Golos farfield — те же типы фраз, но записанные микрофонами умных колонок с расстояния: в комнате слышно эхо, голос тише, чем фон помещения.
Похоже на запись совещания или лекции, когда диктофон лежит на столе в паре метров от говорящего.
На этом срезе меньше всего ошибок у GigaAM v3 RNNT: 4,19% слов. GigaAM v3 E2E RNNT ошиблась в 5,27% — на 26% больше.
Клипы, на которых модели разошлись сильнее всего:
- Клип 47, эталон: «сбер звонок александру ивановичу»
- GigaAM v3 E2E RNNT: «сберзвонок александру ивановичу» — 2 ошибки
- GigaAM v3 RNNT: «сбер звонок александру ивановичу» — 0 ошибок
- Клип 8, эталон: «сбер привет переведи маме тысячу рублей»
- GigaAM v3 E2E RNNT: «сбер привет переведи маме одна тысяча» — 2 ошибки
- GigaAM v3 RNNT: «сбер привет переведи маме тысячу рублей» — 0 ошибок
| Модель | WER, % | Ошибок / слов | Из них в клипах с латиницей или цифрами | Замены / вставки / удаления |
|---|---|---|---|---|
| GigaAM v3 RNNT | 4,19 | 39 / 930 | 0 | 34 / 3 / 2 |
| GigaAM v3 E2E RNNT | 5,27 | 49 / 930 | 1 | 37 / 2 / 10 |
SOVA RuDevices: живая речь, бытовые записи
SOVA RuDevices — около 100 часов живой русской речи из непрофессиональных записей, размеченной вручную командой SOVA.ai. Фразы разговорные, условия записи не студийные, встречаются оговорки.
Похоже на бытовые записи с телефона или ноутбука: разговорная речь, неидеальный микрофон, разные комнаты.
На этом срезе меньше всего ошибок у GigaAM v3 RNNT: 10,46% слов. GigaAM v3 E2E RNNT ошиблась в 11,17% — на 7% больше.
Клипы, на которых модели разошлись сильнее всего:
- Клип 34, эталон: «тебе тоже нужно да»
- GigaAM v3 E2E RNNT: «тебе тоже нужно да» — 0 ошибок
- GigaAM v3 RNNT: «тебе тоже нужен» — 2 ошибки
- Клип 57, эталон: «он типа опасен примерно для двадцати процентов людей»
- GigaAM v3 E2E RNNT: «он типа опасен примерно до двадцать людей» — 3 ошибки
- GigaAM v3 RNNT: «он типа опасен примерно до двадцати процентов людей» — 1 ошибка
| Модель | WER, % | Ошибок / слов | Из них в клипах с латиницей или цифрами | Замены / вставки / удаления |
|---|---|---|---|---|
| GigaAM v3 RNNT | 10,46 | 178 / 1 701 | 0 | 93 / 43 / 42 |
| GigaAM v3 E2E RNNT | 11,17 | 190 / 1 701 | 10 | 100 / 59 / 31 |
RuLibriSpeech: чтение вслух, аудиокниги
Russian LibriSpeech (RuLS) собран из аудиокниг LibriVox: дикторы-добровольцы читают русскую классику. Речь поставленная, но длинные предложения, архаичная лексика и имена собственные.
Похоже на начитанный текст: аудиокнигу, озвучку курса, доклад по написанному тексту.
На этом срезе меньше всего ошибок у GigaAM v3 RNNT: 3,38% слов. GigaAM v3 E2E RNNT ошиблась в 5,49% — на 63% больше.
Клипы, на которых модели разошлись сильнее всего:
- Клип 25, эталон: «потупили смущенный взгляд то три соперника руслана»
- GigaAM v3 E2E RNNT: «потупеле смущенный взгляд то три соперника руслана вд» — 2 ошибки
- GigaAM v3 RNNT: «потупили смущенный взгляд то три соперника руслана» — 0 ошибок
- Клип 34, эталон: «но с тайным грустным умиленьем великий князь благословеньем дарует юную чету»
- GigaAM v3 E2E RNNT: «но с тайным грустным умилением великий князь благословением дарует юную чету» — 2 ошибки
- GigaAM v3 RNNT: «но с тайным грустным умиленьем великий князь благословеньем дарует юную чету» — 0 ошибок
| Модель | WER, % | Ошибок / слов | Из них в клипах с латиницей или цифрами | Замены / вставки / удаления |
|---|---|---|---|---|
| GigaAM v3 RNNT | 3,38 | 43 / 1 274 | 0 | 39 / 2 / 2 |
| GigaAM v3 E2E RNNT | 5,49 | 70 / 1 274 | 0 | 53 / 11 / 6 |
Podlodka: подкаст, беседа в студии
Фрагменты выпусков IT-подкаста «Подлодка» с ручной расшифровкой. Это спонтанная беседа: длинные реплики, профессиональный жаргон, англицизмы и названия технологий.
Похоже на подкаст, интервью или созвон про работу: живая речь, термины и английские слова в русской фразе.
На этом срезе меньше всего ошибок у GigaAM v3 RNNT: 6,60% слов. GigaAM v3 E2E RNNT ошиблась в 7,12% — на 8% больше.
Условия публикации эталонов этого набора не указаны, поэтому здесь и в JSON только агрегаты.
| Модель | WER, % | Ошибок / слов | Из них в клипах с латиницей или цифрами | Замены / вставки / удаления |
|---|---|---|---|---|
| GigaAM v3 RNNT | 6,60 | 77 / 1 166 | 0 | 41 / 15 / 21 |
| GigaAM v3 E2E RNNT | 7,12 | 83 / 1 166 | 6 | 48 / 27 / 8 |
Как модели переносят фоновый шум
Чтобы отделить качество модели от качества записи, мы взяли те же клипы Golos crowd и подмешали к ним неречевой шум из AudioSet: музыку, транспорт, бытовые звуки. Громкость шума задана отношением сигнал/шум (SNR): 20 дБ — тихий фон, 5 дБ — шум почти как голос. Шум для каждого клипа выбирается детерминированно, поэтому срез можно воспроизвести.
При 5 дБ GigaAM v3 RNNT ошибается в 5,19% слов против 1,50% на чистой записи. У GigaAM v3 E2E RNNT — 9,79% против 5,39%.
Если запись шумная, это проверяется до оплаты: короткий фрагмент вашего файла расшифровывается бесплатно.
| Модель | Без шума | SNR 20 дБ | SNR 10 дБ | SNR 5 дБ |
|---|---|---|---|---|
| GigaAM v3 E2E RNNT | 5,39 | 5,99 | 7,79 | 9,79 |
| GigaAM v3 RNNT | 1,50 | 1,60 | 3,10 | 5,19 |
GigaAM против Whisper на тех же записях
Лучшая модель этого семейства и лучшая модель другого на каждом наборе. Полная таблица всех моделей — в сводном бенчмарке.
| Набор | Это семейство, WER % | Другое семейство, WER % |
|---|---|---|
| Golos crowd | GigaAM v3 RNNT: 1,50 | Whisper large-v3: 11,29 |
| Golos farfield | GigaAM v3 RNNT: 4,19 | Whisper large-v3: 15,59 |
| SOVA RuDevices | GigaAM v3 RNNT: 10,46 | Whisper large-v3: 13,58 |
| RuLibriSpeech | GigaAM v3 RNNT: 3,38 | Whisper large-v3-turbo: 8,24 |
| Podlodka | GigaAM v3 RNNT: 6,60 | Whisper large-v3: 6,60 |
Проверить эти замеры самостоятельно
Гипотезы обеих веток лежат в общем results.json вместе с эталонами. Положите его рядом с verify_bench.py и выполните python3 verify_bench.py: скрипт сверит каждое число на этой странице со строками отчёта.
Протокол: нижний регистр, ё → е, числа словами, без пунктуации (asr_common.normalize_ru); WER = (замены + вставки + удаления) / слов в эталоне, по всему срезу, а не среднее по клипам. Берутся первые строки тестового сплита по порядку, клипы не отбираются.
Чего эти цифры не говорят
Клипы короткие, поэтому WER здесь не учитывает ошибки на стыках фрагментов длинной записи, пунктуацию, разделение на спикеров и время на вычитку. Пересечение тестовых клипов с обучающими данными моделей исключить нельзя.
Модели запускаются на GPU (NVIDIA L4 на Modal). Архивный замер на CPU, где Whisper работал в int8, опубликован отдельно и не смешивается с этой таблицей. Это замеры моделей, а не обещание точности сервиса на ваших файлах.
Версии весов: GigaAM v3 E2E RNNT: ai-sage/GigaAM-v3@7655ad717f; GigaAM v3 RNNT: ai-sage/GigaAM-v3@c7f128b8ac.
Наборы данных и лицензии
Наборы использованы как есть; авторы наборов не проверяли этот замер и не одобряли наш сервис. Эталоны нормализованы, гипотезы получены моделями.
- Все модели в одной таблице
- Whisper large-v3 и large-v3-turbo на русском языке
- Расшифровать свою запись
- Golos crowd: SberDevices Team: Alexander Denisenko, Angelina Kovalenko, Fedor Minkin, Nikolay Karpov; зеркало на Hugging Face — bond005. Лицензия: Public license with attribution and conditions reserved (не Creative Commons). Источник: https://huggingface.co/datasets/bond005/sberdevices_golos_10h_crowd
- Golos farfield: SberDevices Team: Alexander Denisenko, Angelina Kovalenko, Fedor Minkin, Nikolay Karpov; зеркало на Hugging Face — bond005. Лицензия: Public license with attribution and conditions reserved (не Creative Commons). Источник: https://huggingface.co/datasets/bond005/sberdevices_golos_100h_farfield
- SOVA RuDevices: SOVA.ai; разбиение на train/validation/test и зеркало на Hugging Face — bond005. Лицензия: CC BY 4.0. Источник: https://github.com/sovaai/sova-dataset
- RuLibriSpeech: LibriVox и авторы RuLS (OpenSLR SLR96); зеркало на Hugging Face — bond005. Лицензия: Public Domain в США (по описанию OpenSLR SLR96). Источник: https://www.openslr.org/96/
- Podlodka: Подкаст «Подлодка»; разметка и зеркало на Hugging Face — bond005. Лицензия: лицензия в карточке набора не указана. Источник: https://huggingface.co/datasets/bond005/podlodka_speech
- Шум: bond005/audioset-nonspeech, CC BY 4.0 (производная от AudioSet, Google). Источник: https://huggingface.co/datasets/bond005/audioset-nonspeech
Частые вопросы
Почему у E2E RNNT WER выше, чем у RNNT, если её используют в продукте?
E2E RNNT сразу пишет текст для человека: с пунктуацией, цифрами и брендами латиницей. Знаки препинания при подсчёте WER снимаются, а вот «youtube» против эталонного «ютьюб» или номер телефона цифрами считаются ошибками. На измеренных срезах 9% ошибок E2E приходятся на такие клипы. RNNT пишет так же, как размечены эталоны, поэтому выигрывает по WER, но выдаёт сплошной текст строчными буквами, без знаков препинания и цифр.
Можно ли запустить GigaAM v3 у себя?
Да, веса открыты под MIT и загружаются с Hugging Face (ai-sage/GigaAM-v3, ветка задаётся параметром revision). Для длинных записей понадобятся нарезка на фрагменты и VAD — их здесь нет, клипы короткие.
Какие ещё условия ухудшают точность GigaAM?
Сильнее всего ветки расходятся на срезе «чистая речь, телефон у лица»: 5,39% против 1,50%. Ближе всего — «подкаст, беседа в студии»: 7,12% и 6,60%.