Гаражные ворота с голосом пирата: Nemotron Voice Agent на одной станции

MonsterHouse , интерактивная Halloween-проекция: «дом» слушает гостей у крыльца, отвечает ворчливым пиратом и сдаётся от одного «please». Конвейер Nemotron Voice Agent крутится на одной рабочей станции , RTX PRO 6000 Blackwell Max-Q тянет речь и модель, RTX PRO 4000 Blackwell отдаёт Unreal Engine 5 и анимацию рта. Как устроен конвейер Слух: Nemotron Speech ASR, в том числе nemotron-speech-streaming-en-0.6b.q8_0.gguf . Мозг: Nemotron 3.5 Bolt E4B 4GB , открытая компактная языковая модель для диалоговых агентов; характер задаёт LoRA. Голос: Magpie TTS Zeroshot по короткому референсу персонажа, семь настроений от ворчливого до восторженного. Анимация: Audio2Face-3D синхронизирует речь с ртом в Unreal Engine 5. Зрение: Nemotron 3 Nano Omni описывает кostюмы; YOLO и ByteTrack считают и трекают посетителей. Персонаж и задержки После теста больше дюжины моделей автор взял Bolt E4B в 4-bit , меньший footprint, чем у Qwen3 30B-A3B и Qwen 3.6 35B-A3B. Более 5000 multi-turn conversations ушли в LoRA; обучение от часа до пары часов, качество гонял локальный агент на continuity, repetition и speed. Текст для озвучки уходит до полной генерации ответа , иначе «дом» слишком долго молчит. Медиана от конца речи до аудио: 1,70 с с Bolt Q4 и TTS, 0,72 с для кэшированных реплик; конец речи ждёт 300 ms тишины. В пульте , live, demo и microphone mode: последний обходит ASR и LLM, чистый голос крутит рот, зрители слышат обработанный звук. Синхрон с Audio2Face-3D выставили раз и забыли , компенсация 100 ms под буферизацию. Источник: Building a Haunted House with NVIDIA Nemotron Open Models .