Перейти к содержимому
Экосистема AI Vibe

Новости

Как JetBrains собрала RAG для семантического поиска по коду

Редакция 17 сентября 2026 г.

Исходный код режется парсером на смысловые чанки, которые превращаются в векторы для семантического поиска агентом.

Семантический поиск нужен там, где grep бессилен: агент ищет код по смыслу, а не по точной строке. JetBrains разобрала в первой части серии про JetBrains Context путь от сырых файлов к индексу на миллионы фрагментов — парсинг, чанкинг и векторизацию.

Прототип RAG для кода собирается быстро, продакшен — нет. Без нормального retrieval агент в большом репозитории тратит сессию на навигацию вместо правок.

Зачем не режут по строкам

Целый файл в одну эмбеддинг-модель бессмысленно — поиск вернёт весь файл. По одной строке — шум: имя функции без контекста ведёт мимо. Фиксированные блоки по N строк смешивают import и тело функции.

RAG добавляет смысловой слой: функция «сбросить буфер записи» может оказаться рядом с «drain pending queue», хотя общих слов нет.

Чанкинг по структуре кода

JetBrains Context строится на JetBrains Code Engine — 26 лет парсеров под языковые нюансы. Structure-aware chunking покрывает 9 языков: Kotlin, Java, Python, JavaScript, TypeScript, C#, PHP, Go и Rust; остальные индексируются построчным fallback.

  • границы по типу синтаксического узла — doc-комментарий и аннотации остаются с объявлением;
  • в Java убирают шумные @NotNull и @Override;
  • путь файла эмбеддится вместе с текстом чанка.

Подход родственен cAST (Zhang et al., 2025), но с явной языковой семантикой — декораторы Python рядом с определением, KDoc у Kotlin-деклараций. Границы проверяют через LLM-as-a-judge; любое изменение пайплайна прогоняют через end-to-end retrieval evaluation.

Сколько весит индекс

Вектор из нескольких тысяч измерений в 32-битных float — около 16 КБ. Миллионы чанков дают десятки гигабайт ещё до служебных структур.

При бюджете 512 байт на вектор можно урезать число измерений или точность чисел — комбинации дают разный recall. Вопрос смещается с «насколько точно» на «что получаем за байт».

Источник: Building a RAG Pipeline for Semantic Code Search: A Developer Diary and Field Notes.