Экосистема AI Vibe
Новую AI-архитектуру не изобрели — её переоткрыли из computer science двадцатилетней давности
Три режима ложного спокойствия у соло-инженера с RAG и автономными агентами: retrieval «нашёл» фрагмент, дашборд зелёный, reviewer ни разу не сказал «нет». Без сверки с классическими паттернами аудита и распределённых систем эти сигналы маскируют дыры в пайплайне, пока не всплывёт разрыв знаменателя с популяцией или «успешный» ответ без содержимого; в эссе @mansio связывает это с переоткрытием идей ~20-летней давности для движка, который «врёт уверенно».
Oracle Problem возвращается в RAG и верификацию агентов
В дискуссиях про RAG-пайплайны, автономных агентов и protocol verification автор фиксирует общий тезис: индустрия не строит новый парадигмальный слой, а переоткрывает классическую computer science, теорию аудита и паттерны распределённых систем, адаптируя их под вероятностный движок.
Первая пара «AI Discussion → The Root» — про «криптографически правдоподобные галлюцинации». Модель может вернуть валидный chunk и переинтерпретировать его: «факт существует ≠ факт влечёт следствие». Высокая точность retrieval не спасает, если несанкционированное действие «отмывается» через убедительный контекст.
Корень — Oracle Problem из криптографии: подпись (в тексте — Ed25519) доказывает передачу и целостность, но не истинность данных. Для соло-разработчика с agent harness это не абстракция: проверка «агент нашёл цитату» не заменяет проверку «цитата оправдывает действие».
Evidence exists ≠ evidence entails — формулировка, которую стоит держать рядом с любым RAG-ретривером в проде.
Зелёный дашборд при нулевых строках
Вторая пара — «Empty Set Trap». Сборщик с полным сэмплингом возвращал ноль строк при сотнях запросов; дашборды оставались зелёными. Разрыв между eligible_seen и population_size не бросался в глаза, пока не сравнили знаменатель с реальной популяцией.
Классический корень — Completeness Assertion в аудите баз данных плюс Capture-Recapture из статистики. В agent verification тот же сбой выглядит иначе: метрика «всё ок» при пустой выборке.
Практический вывод для пайплайна с LLM-агентами: аудит знаменателя важнее очередного зелёного виджета. Если агент «ничего не нашёл», это не всегда норма. Иногда это дыра в покрытии данных.
Reviewer, который никогда говорит «нет»
Третья пара — «Veto Heartbeats». Reviewer, который ни разу не отклонил запрос, неотличим от сломанной «резиновой печати». Автор предлагает отслеживать, когда в последний раз кто-то сказал «нет», как живую аудируемую метрику.
Корень — durable execution и BPMN: идемпотентность, откат, обязательные audit trails. В посте есть отсылка к формулировке «Agent Workflows Are Rediscovering Durable Execution» — без отдельной ссылки в источнике.
Для протоколов верификации агентов это прямой сигнал: harness без veto бессмысленен. Один только approve-поток не доказывает, что проверка живая.
Event Sourcing вместо стирания receipts
Четвёртая пара — «RetractionReceipts». Подтверждённое действие AI переводится в статус REFUTED, но криптографический receipt не удаляется. Корень — Event Sourcing и модель W3C PROV-DM (wasInvalidatedBy).
В мире агентов и protocol specs это ответ на «отравленную память агента»: история остаётся для форензики, а не стирается ради чистого UI.
Автор обобщает: сообщество заново изобретает Event Sourcing, W3C PROV-DM и BPMN-маршрутизацию, потому что LLM не бросают exception при отсутствии данных.
LLM с exit code 0: урок для harness
Ключевой контраст в посте — детерминированные системы против LLM:
LLMs don't throw exceptions. They hallucinate with exit code 0 and a confident tone.
Классические системы при missing data падали с ошибкой; вероятностный движок отвечает уверенно и «успешно». Отсюда индустриальная работа по «якорению гипервероятностной технологии к детерминированной ground truth» — формулировка автора.
Ответы на проблемы верификации AI не новые. Нов тот движок, на который их навешивают. Автор призывает перестать изобретать колесо и читать старые мануалы; закрывает текст disclaimer: всё написанное может оказаться неверным или устареть через несколько лет.
Для соло-инженера с RAG и agent workflows это не пошаговый гайд, а чеклист уровня архитектуры: oracle-границы retrieval, знаменатель выборки, живой veto, неизменяемая история действий.