Перейти к содержимому
Экосистема AI Vibe

Новости

Когда встроенного краулера Bedrock мало: Crawl4AI перед базой знаний

Редакция 2 ноября 2026 г.

По расписанию контейнер Crawl4AI обходит сайт, выгружает Markdown в S3, после чего Bedrock Knowledge Base режет текст на chunks и отдаёт их в retrieval.

Ответ RAG-сервиса сильнее зависит от того, что попало в индекс, чем от формулировки промпта. У managed Knowledge Bases в Bedrock для публичных сайтов есть встроенный Web Crawler — seed URL или sitemap, robots.txt, синхронизация по расписанию и ожидание JavaScript без своего хостинга. Когда нужно резать только основной блок страницы и вешать свои атрибуты на документ, AWS показала второй контур: open-source Crawl4AI на Python пишет Markdown и sidecar метаданных в S3, а база подхватывает их как обычный S3-источник.

Речь о пакетной загрузке известных сайтов, не о доступе в интернет на каждый запрос inference — в посте это отделяют от Web Grounding с Amazon Nova.

Когда хватит встроенного краулера

Коннектор подходит, если страницы достижимы в заданном scope и rate limits: после первого полного обхода sync подтягивает только добавленные, изменённые и удалённые документы. Для сайтов с логином сначала смотрят auth у Web Crawler — basic, form-based, SAML; sample с Crawl4AI рассчитан только на публичные страницы.

Зачем слой Crawl4AI

  • Markdown без шаблона: DefaultMarkdownGenerator с PruningContentFilter убирает навигацию и boilerplate, сохраняя заголовки, списки и таблицы — pruning эвристический, выборку страниц стоит проверить руками.
  • Узкий обход: опциональный CSS-селектор региона, scope по origin, path или host, лимиты depth и max_pages, фильтры URL.
  • Свои метаданные: source URL, timestamp crawl, content type и пользовательские атрибуты для фильтрации при retrieval.

Как устроен пример из aws-samples

EventBridge по расписанию поднимает задачу ECS на Fargate; контейнер из CDK-приложения по очереди выполняет crawl, upload и запуск ingestion job. Несекретный конфиг пайплайна читается из Parameter Store при старте.

Sidecar для page.md должен называться page.md.metadata.json и лежать рядом с файлом в том же префиксе S3. Лимит Bedrock на sidecar — 10 KB: при превышении run останавливается до записи в bucket.

Managed knowledge base после upload парсит документы, режет на chunks и embedit в service-managed vector store. Стратегию chunking задают при подключении источника и потом не меняют: по умолчанию fixed chunks на 300 tokens с overlap 20%; для customer-managed KB доступны ещё semantic и hierarchical chunking.

Источник: Prepare web content for Amazon Bedrock Knowledge Bases with Crawl4AI.