Как AI пришёл в кодинг: от n-грамм до GPT-3

Десять лет назад ML и нейросети уже меняли индустрию, но программирование почти не трогали. По сути, единственным заметным применением AI в коде были автодополнения вроде Kite или Tabnine.

В Replit считают, что перелом наступил с появлением языковых моделей вроде GPT. В 2012 году вышла работа «On the Naturalness of Software»: простой n-граммный подход дал автодополнение, сравнимое с коммерческими решениями. GPT-3 оказался на порядки мощнее — и команда Replit быстро начала строить инструменты поверх него.

Одна из идей — «оракул кода»: вместо того чтобы вручную разбирать чужой код, можно спросить модель, что делает функция, какие у неё типы и как её улучшить. Основатель Replit Амжад Масад получил доступ к API OpenAI и за короткое время собрал рабочий прототип — это было летом 2020 года.

С тех пор AI-кодинг стал массовым: Cursor, Copilot, Ghostwriter и другие. Но корни — в этих ранних экспериментах с GPT и идеей «разговаривать» с кодом на естественном языке.

Источник: The role of AI in coding — Replit Blog