GigaAM против Whisper на русском
GigaAM v3 RNNT и Whisper large-v3 проверены на одинаковых 200 записях Golos crowd. Это воспроизводимая проверка сохранённых результатов, а не оценка точности сервиса на любых файлах.
Чтение примерно 5 мин · обновлено 2026-09-14
Что измерено
Архивный CPU-прогон сохранён в репозитории 31 августа 2026 года. Публикация и повторная проверка арифметики — 5 сентября. Взяты первые 200 клипов тестовой выборки Golos crowd из сохранённого манифеста: примерно 13,7 минуты короткой русской речи, 1 001 слово в нормализованных эталонах.
GigaAM v3 запускалась через ai-sage/GigaAM-v3 с ревизией rnnt; Whisper large-v3 — через faster-whisper. Это прямой запуск движков на CPU, не замер очереди, загрузки или полного сервиса Транскрибы.
| Движок | Ошибок / слов эталона | WER |
|---|---|---|
| GigaAM v3 RNNT | 15 / 1 001 | 1,50% |
| Whisper large-v3 | 128 / 1 001 | 12,79% |
GigaAM v3 RNNT и v2 RNNT: что изменилось
В собственном замере выше участвовала только ветка GigaAM v3 RNNT. GigaAM v2 мы на этой выборке не запускали, поэтому подставлять результат v2 из другой таблицы в прямое сравнение нельзя.
В карточке GigaAM v3 разработчики перечисляют отдельные ветки CTC, RNNT и end-to-end. RNNT — использованный здесь декодер; ветки e2e_ctc и e2e_rnnt дополнительно выдают пунктуацию и нормализованный текст. Авторы также сообщают о новых обучающих данных для кол-центров, речи с фоновой музыкой, естественной и атипичной речи. Это описание разработчиков модели, а не результат нашего теста.
Как проверить числа
Идентификаторы клипов и эталоны совпадают у двух отчётов. Для обоих текстов применена одна нормализация: нижний регистр, ё в е, числа словами, удаление пунктуации. WER — сумма замен, вставок и удалений, делённая на число слов эталона. Это не среднее процентов по клипам.
Скачайте results.json и verify.py в одну папку и выполните python3 verify.py. Скрипт пересчитывает расстояние между нормализованными текстами без сторонних библиотек. JSON содержит гипотезы, эталоны и SHA-256 аудиофайлов. Скрипт проверяет арифметику, но не запускает модели заново.
Версия 1.0.0 зафиксирована в открытом репозитории вместе с контрольными суммами, методикой, CITATION.cff и исходной лицензией данных. GitHub Actions повторяет проверку при каждом изменении, а Software Heritage хранит постоянный снимок репозитория.
Первый клип выборки
Пример выбран по фиксированному индексу 0, а не по преимуществу какой-либо модели. Эталон: «шестьдесят тысяч тенге сколько будет стоить». Звук не изменён; результаты обеих моделей для этого ID есть в JSON.
Границы замера
Первые 200 коротких клипов не представляют все интервью и лекции. WER не измеряет пунктуацию, разделение спикеров, удобство экспорта или время вычитки. Пересечение с обучающими данными не исключено.
Архив сохранил имена веток моделей, но не неизменяемые хеши весов и не полный снимок окружения. Поэтому точное воспроизведение распознавания не гарантируется. Замер не сравнивает Транскрибу с audio-transcription.ru и не обещает 1,50% ошибок на ваших файлах.
Источник и условия использования
Golos подготовлен SberDevices Team: Alexander Denisenko, Angelina Kovalenko, Fedor Minkin и Nikolay Karpov. Зеркало на Hugging Face — bond005. Расчёт, проверку и публичную упаковку этого замера выполнил Игорь Котуа для Транскрибы.
Данные предоставлены как есть, без гарантий и без одобрения нашего сервиса авторами. Эталоны нормализованы, гипотезы получены моделями; опубликованное аудио не изменено.
Набор и опубликованные производные данные распространяются по исходной Public license with attribution and conditions reserved. Это отдельная лицензия, не Creative Commons. Текст лицензии и источник доступны ниже; дополнительных ограничений на эти данные мы не добавляем.
Частые вопросы
Это точность Транскрибы на любых записях?
Нет. Это архивный замер отдельных движков на 200 коротких клипах. Качество вашей записи и этапы полного сервиса могут изменить результат.
Нужна ли видеокарта для проверки таблицы?
Нет. Python-скрипт пересчитывает WER по сохранённым текстам без GPU и сторонних библиотек. Распознавание заново не запускается.
Как сослаться на этот бенчмарк?
В открытом репозитории есть CITATION.cff для менеджеров библиографии. Ссылайтесь на выпуск v1.0.0 и отдельно укажите исходный набор Golos.
Почему цифры отличаются от других бенчмарков?
Набор, нормализация и усреднение влияют на WER. Проценты из разных тестов нельзя сравнивать как единый рейтинг.