Python
Crawl4AI 将网页内容转化为干净、适合大语言模型(LLM)使用的 Markdown 格式,适用于检索增强生成(RAG)、智能体(agents)以及数据管道。它速度快、可控性强,已在一个拥有 5 万以上星标(关注)的开源社区中经过实战检验。
https://github.com/unclecode/crawl4ai/
Crawl4AI 将网页内容转化为干净、适合大语言模型(LLM)使用的 Markdown 格式,适用于检索增强生成(RAG)、智能体(agents)以及数据管道。它速度快、可控性强,已在一个拥有 5 万以上星标(关注)的开源社区中经过实战检验。
https://github.com/unclecode/crawl4ai/