MTRL в SageMaker: Wordle как стенд для многоходового агента с одной наградой

Многоходовое обучение с подкреплением (MTRL) в SageMaker AI учит модель на целом эпизоде, а не на одном ответе: задача уходит агенту на Amazon Bedrock AgentCore, политика ходит по среде столько шагов, сколько нужно, и в конце отдаёт одну награду — без эталонной траектории в датасете. AWS разложила пример на Wordle: правила простые, счёт объективный, но это стенд для пайплайна, а не цель продакшена.

На отложенных словах gpt-oss-20b после 100 шагов обучения дошёл с 61% до 84% решённых игр при обычном reasoning effort и с 15% до 69% на low, на котором учились. По токенам политики такой прогон обошёлся примерно в $339. Переносимый сценарий — недорогая модель на внутренний многошаговый процесс, которого не было в публичных корпусах: supervised fine-tuning не даёт меток по шагам, одноходовый RL не разнесёт награду на ход за несколько шагов до исхода.

Как связаны SageMaker и AgentCore

На каждый rollout MTRL вызывает runtime AgentCore со строкой датасета — в примере это секретное слово. Strands-агент дергает обучаемую политику через OpenAI-совместимый endpoint SageMaker Job Runtime, играет до шести попыток через инструмент guess_word и после каждой получает подсказки по буквам. Игра закончилась — агент возвращает награду; сервис сравнивает несколько rollouts на том же слове и обновляет LoRA-адаптер на политике (алгоритм GRPO).

• Агент, среда и функция награды — в одном Python-файле на AgentCore или через Lambda на EKS, EC2, Fargate.
• В датасете только задача, без транскриптов и «правильных» ответов.
• Победа: 1,05–1,55 по скорости; поражение −0,5; нет валидной попытки −1,5.

Счёт прогона

105 486 rollouts за 12 часов 40 минут: 491,6 млн prefill-токенов, 159,7 млн sample и 643,3 млн train — больше всего съедает train, он растёт с длиной траектории. В списке базовых моделей — GPT-OSS-20B, Amazon Nova 2 Lite, Gemma 4 31B и Qwen 3.6 27B; в гайде для примера выбрали GPT-OSS-20B из‑за цены за токен и настраиваемого reasoning effort. Runtime AgentCore в том же прогоне — ещё около $79 по vCPU и памяти, отдельно от токенов обучения.

В репозитории aws-samples — деплой через agentcore deploy, smoke-тест payload и разбор типичных ошибок IAM и дизайна reward. Данные, агент и дообученная модель остаются в вашем аккаунте AWS.

Источник: Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide.