Google учит Gemini слышать живую речь — от Live Translate до TranslateGemma

Google перестроил языковой стек: Gemini обрабатывает аудио напрямую, без цепочки «расшифровать → перевести текст → озвучить». Для тех, кто надиктовывает промпты или правит код голосом, это ближе к живой речи — с паузами, интонацией и сменой языка посреди фразы, как в Spanglish или Hinglish.

Gemini 3.5 Live Translate переводит речь в реальном времени на 70 языков и более 2000 языковых пар. Gemini 3.5 Transcribe превращает шумный звук в отформатированный текст; на Android в Gboard фича Rambler убирает слова-паразиты, правит пунктуацию и позволяет редактировать надиктовку голосом, переключаясь между языками.

Без облака на устройстве

Чтобы перевод не зависел от сети, Google выпустила TranslateGemma — лёгкие открытые модели на базе Gemini, обученные на 55 языках и рассчитанные на запуск прямо на устройстве. Под капотом Universal Speech Model: 12 миллионов часов аудио и межъязыковый перенос обучения — паттерны из языков с большим корпусом подтягивают распознавание там, где данных мало.

Сбор данных под редкие языки

Инициатива 1,000 Languages целится в тысячу самых распространённых языков мира. Открытый датасет WAXAL охватывает 27 языков Африки к югу от Сахары — более 100 миллионов носителей в 26 странах. Project Vaani собрал более 30 000 часов речи на 109 языках от 155 000 спикеров; Language Explorer визуализирует LinguaMeta — репозиторий более 7000 языков.

Отдельно Google пилотирует AVA — голосового ассистента на кнопочных телефонах через Viamo и Gemini; в Руанде сервис уже ответил на более 2 миллионов вопросов. SL2T обучили на 50+ языках жестов: в Gboard и Live Transcribe на Pixel 11 жестовая речь переводится в текст, с ASL на английский в первой волне.

Источник: AI for everyone in every language.