Когда встроенного краулера Bedrock мало: Crawl4AI перед базой знаний

Ответ RAG-сервиса сильнее зависит от того, что попало в индекс, чем от формулировки промпта. У managed Knowledge Bases в Bedrock для публичных сайтов есть встроенный Web Crawler — seed URL или sitemap, robots.txt, синхронизация по расписанию и ожидание JavaScript без своего хостинга. Когда нужно резать только основной блок страницы и вешать свои атрибуты на документ, AWS показала второй контур: open-source Crawl4AI на Python пишет Markdown и sidecar метаданных в S3, а база подхватывает их как обычный S3-источник.
Речь о пакетной загрузке известных сайтов, не о доступе в интернет на каждый запрос inference — в посте это отделяют от Web Grounding с Amazon Nova.
Когда хватит встроенного краулера
Коннектор подходит, если страницы достижимы в заданном scope и rate limits: после первого полного обхода sync подтягивает только добавленные, изменённые и удалённые документы. Для сайтов с логином сначала смотрят auth у Web Crawler — basic, form-based, SAML; sample с Crawl4AI рассчитан только на публичные страницы.
Зачем слой Crawl4AI
- Markdown без шаблона: DefaultMarkdownGenerator с PruningContentFilter убирает навигацию и boilerplate, сохраняя заголовки, списки и таблицы — pruning эвристический, выборку страниц стоит проверить руками.
- Узкий обход: опциональный CSS-селектор региона, scope по origin, path или host, лимиты depth и max_pages, фильтры URL.
- Свои метаданные: source URL, timestamp crawl, content type и пользовательские атрибуты для фильтрации при retrieval.
Как устроен пример из aws-samples
EventBridge по расписанию поднимает задачу ECS на Fargate; контейнер из CDK-приложения по очереди выполняет crawl, upload и запуск ingestion job. Несекретный конфиг пайплайна читается из Parameter Store при старте.
Sidecar для page.md должен называться page.md.metadata.json и лежать рядом с файлом в том же префиксе S3. Лимит Bedrock на sidecar — 10 KB: при превышении run останавливается до записи в bucket.
Managed knowledge base после upload парсит документы, режет на chunks и embedit в service-managed vector store. Стратегию chunking задают при подключении источника и потом не меняют: по умолчанию fixed chunks на 300 tokens с overlap 20%; для customer-managed KB доступны ещё semantic и hierarchical chunking.
Источник: Prepare web content for Amazon Bedrock Knowledge Bases with Crawl4AI.