Качество транскрибации: почему «точность 98%» ничего не значит
Почти каждый сервис расшифровки пишет на главной «точность до 98%». Проверить эту цифру невозможно, и вот почему.
Чтение примерно 6 мин · обновлено 2026-09-14
Что вообще измеряется
Стандартная метрика распознавания речи — WER, Word Error Rate: сумма замен, вставок и пропусков слов, делённая на число слов в эталоне. Ниже — лучше.
«Точность 98%» обычно подразумевает WER 2%, но без датасета это нельзя проверить. Значение на чистой начитанной речи нельзя переносить на спонтанный разговор с фоном, редкими именами и одновременными репликами.
Три вопроса, которые убивают любую заявленную цифру
Прежде чем верить числу на лендинге, спросите.
- На каком датасете? Чистая дикторская начитка и запись совещания дают разные результаты; величина разницы зависит от модели, корпуса и условий записи.
- При какой нормализации? Считать ли ошибкой «5» вместо «пять», «ё» вместо «е», отсутствие запятой — от этого WER меняется на единицы процентов.
- Какая модель и версия используются? По одному списку языков это определить нельзя: сервис может скрывать часть языков, переименовывать их или сочетать несколько моделей. Ищите прямое название модели, версию и методику проверки.
Что показывают открытые измерения
Сбер опубликовал бенчмарк семейства GigaAM: десять русскоязычных датасетов, единая нормализация, усреднённый WER. Полная таблица — в evaluation.md репозитория salute-developers/GigaAM на GitHub; результат Whisper там указан с пост-обработкой (снята пунктуация, числа приведены к словам), то есть условия ему не ухудшали. Модели выложены под MIT, цифры воспроизводимы.
Сырая ветка GigaAM v3 RNNT показывает 8,3% против 21,0% у Whisper large-v3. Используемая сервисом E2E RNNT — отдельная колонка: 11,2% против 21,0%; она добавляет пунктуацию и нормализацию текста.
| Модель | Лицензия | Средний WER, % | Далёкий микрофон | Кол-центр |
|---|---|---|---|---|
| GigaAM v3 E2E RNNT — используем мы | MIT | 11,2 | 5,5 | 12,6 |
| GigaAM v3 RNNT — сырая ветка | MIT | 8,3 | 3,9 | 9,5 |
| GigaAM v2 RNNT | MIT | 10,6 | — | — |
| T-one + LM (Т-Банк) | Apache-2.0 | 16,3 | — | — |
| Whisper large-v3 (OpenAI) | MIT | 21,0 | 16,4 | 23,1 |
Почему Whisper проседает именно на русском
Whisper обучался на разноязычном вебе с сильным перекосом в английский. Русский там есть, но его доля мала, а спонтанной русской речи с плохим микрофоном — ещё меньше.
GigaAM обучался на русском целенаправленно. Это не «лучше вообще» — на английском картина иная. Это лучше на той задаче, ради которой вы сюда пришли.
Что это значит на практике
Средний WER 11,2% у E2E RNNT — примерно один ошибочный токен на девять слов в этих тестовых наборах; 21% у Whisper — примерно один на пять. Это корпусная метрика после заданной нормализации, а не обещание для вашей записи.
Время вычитки зависит ещё от пунктуации, имён, спикеров, таймкодов и цены конкретной ошибки. Поэтому сравнивать сервисы лучше на одном собственном фрагменте.
Частые вопросы
Как понять, на чём работает сервис?
Надёжно — только по прямому раскрытию модели и версии в документации сервиса. Список языков служит подсказкой, но не доказательством: интерфейс может показывать лишь часть языков или сочетать несколько моделей.
Почему в таблице есть 8,3% и 11,2% для GigaAM v3?
Это разные ревизии. Сырая RNNT показывает 8,3%; используемая сервисом E2E RNNT с пунктуацией и нормализацией — 11,2%. Результат на своей записи нужно проверять отдельно.
Вы измеряли WER сами?
Да. В открытом архиве v1.0.0 сохранены гипотезы raw RNNT и Whisper large-v3 на первых 200 клипах Golos crowd: 15 и 128 ошибок на 1 001 слово соответственно. Это отдельная сырая модель, а не используемая сервисом E2E RNNT; архив позволяет проверить арифметику результата, но не обещает такую точность на других записях.