Devin считает эффективность сессий и поднимает лимиты без очереди к админу

Вместо одного потолка на всю команду Cognition ввела в Devin Enterprise учёт того, насколько окупается каждая сессия агента. Три связки: балл Efficiency Score от 0 до 100, Devin Coach с разбором промпта до запуска и авто-одобрение лимитов по оценке эффективности.

Что появилось

• Efficiency Score — оценка по недавним сессиям, включая расследования и планирование без merged PR; в основе метрика productive engineering hours и расход в ACU.
• Devin Coach — ловит размытый запрос, слишком дорогой режим для мелкой задачи и смешение несвязанных задач в одной сессии; админ выбирает только подсказку, обязательное подтверждение или отключение.
• Авто-одобрения по баллу — при Healthy или Satisfactory лимит растёт сам до потолка админа; при Needs Improvement и Unknown запрос уходит на ревью, автоматического отказа нет.

Как читается балл

Эффективность (полезные часы на ACU) в формуле весит сильнее объёма (полезные часы в день). В примере Cognition «типичный» инженер набирает 55, power user с тем же расходом на задачу, но большим объёмом — 60, а сценарий «много тратит, мало отдачи» при высоком объёме остаётся на 41. Свою оценку инженер видит в My Analytics в блоке Session efficiency.

На двух реальных аккаунтах ручной апрув после капа блокировал сильного пользователя четыре дня — merged PR на неделе просели примерно втрое. С авто-одобрениями кап снимали 22 раза, и merged PR в неделю выросли с 30 до почти 80. Функция доступна на плане Devin Enterprise; обещают гибкие бюджеты по отделам в ближайшие месяцы.

Источник: A smarter approach to AI cost controls: allocating spend by efficiency | Devin.