Как avatarin собрала голосового ритейл-агента на GPT-Realtime

GPT-Realtime в проде у avatarin: голосовой агент Kurashi-Marugoto для Yamada Denki заменил связку распознавания речи, анализа обращений и отдельного чата — речь, текст и картинки в одном разговоре с низкой задержкой. За две недели пилота в онлайн-магазине через него прошло около 30 000 человек; 92% ответов в коротком голосовом опросе после диалога оказались положительными.

avatarin — японский AI-сервис, выросший из ANA Holdings. CEO Akira Fukabori называет проект не «продлённым чат-ботом», а попыткой расширить клиентский сервис: агент круглосуточно ведёт покупателя на нескольких языках — от подбора техники до решения о покупке.

Почему одна модель

До Yamada Denki команда уже работала с OpenAI API для распознавания речи, разбора обращений и обучения персонала. GPT-Realtime выбрали, когда увидели, что одна модель по связке речь–текст–изображения обгоняет узкие speech-системы по задержке и качеству. Вместо того чтобы учить пользователя «говорить по правилам машины», агент слушает контекст — сомнения, смену предпочтений, бытовые уточнения вроде «семья из четырёх, кухня маленькая, какой холодильник взять?».

Как устроен агент

• RAG по каталогу — ответы опираются на актуальные карточки товаров, диалог не тормозит.
• Сценарии продавца — экспертиза Yamada Denki по категориям вшита в потоки разговора и промпты; guardrails возвращают фокус, если клиент уходит в сторону.
• Проактивные вопросы — агент не ждёт следующей команды, а уточняет потребность и ведёт к подбору.

OpenAI помогала собирать сложные промпты и снижать стоимость API для круглосуточного голосового сервиса. В опросах покупатели писали, что с агентом «проще говорить, чем с живым продавцом» — можно переспрашивать без давления. Каждый разговор фиксирует сомнения и мотивы, которые в обычной витрине остаются невидимыми.

Источник: How avatarin built a 24/7 retail agent with GPT-Realtime.