Хинди на лидерборде ASR: 4888 голосов вместо одной цифры WER

На Open ASR Leaderboard появились наборы Monsoon для хинди и индийского английского — первый индский язык на мультиязычной вкладке, где раньше шли только европейские. Вместо одной строки WER лидерборд теперь даёт 4888 разных голосов и метаданные по акценту, округу и устройству: если голосовой стек в агенте должен работать не на «усреднённом» спикере, одного скора мало.

Агрегированный процент ошибок может быть верным в среднем и промахиваться для конкретной аудитории. Коммерческие системы распознавания речи давно показывали разброс по полу, возрасту и акценту — лидерборд этого не видел, потому что тесты фиксировали текст, а не того, кто говорит.

Четыре сплита и девять осей

Voice Arena и Hugging Face собрали Monsoon по девяти осям: география, возраст, пол, лексика, устройства, акустика, тип речи, темп и несколько допустимых транскриптов. Рекрутинг шёл по сотням округов, запись — с личных смартфонов на своих сетях, в том числе с дешёвых аппаратов и нестабильного интернета.

• Спикеры — 4888 голосов в четырёх сплитах без пересечения; больше половины сдали ровно один клип, топ-10 не держат больше 6,8% длительности.
• География — en-IN public охватывает 428 округов в 24 штатах и 6 союзных территориях; хинди — 202–295 округов.
• Устройства — от 315 до 582 моделей в субсете, ни одна не даёт больше 2,1% сегментов.

Метаданные и lattice для хинди

На каждый сегмент — 18 колонок, 12 из них метаданные: пол, округ, марка телефона, профессия, доход. Для хинди эталон — не одна строка, а lattice: список допустимых орфографических вариантов, потому что нормализатор не сводит варианты к одной форме. Для en-IN — обычный текст с нормализацией.

На закрытых индийских наборах разброс ошибок по округам уже считали от 4% до 44% — теперь тот же класс разрезов доступен на публичном лидерборде Hugging Face.

Источник: The Open ASR Leaderboard Adds Its First Global South Language.