Kimi K3 в Devin: открытая модель обгоняет GPT-5.5 на инженерных задачах

В Devin Desktop и CLI можно выбрать Kimi K3 — открытую модель, которая на бенчмарке FrontierCode 1.1 обогнала GPT-5.5. На 59,6% она обходит закрытую GPT-5.5 и остаётся единственной open source в этой лиге — выше только Claude Opus, Fable и GPT-5.6 Sol.

FrontierCode гоняет модели на реальных инженерных задачах: оценивают качество кода и mergeability — можно ли смержить результат в продовую базу. GPT-5.5 здесь набрала 58,2%; Kimi K3, по заявлению Cognition, уже близка к уровню топовых закрытых моделей.

Отладка и слабые места

В тестах Cognition Kimi K3 особенно сильна в отладке. Модель ищет причину бага запуском кода, а не угадыванием по паттернам — часто сначала воспроизводит ошибку, и только потом трогает файлы. Умеет поднимать нужные сервисы в окружении и убирать за собой.

Следование спецификации — слабое место: иногда модель уходит от заданных требований. GPT-5.6 Sol, Opus 5 и Fable 5 здесь держатся лучше.

Источник: Kimi K3 is now available in Devin | Devin.