全部项目
当前范围的仓库 16 · UTC 2026-11-04
对比排名项目StarFork30 天趋势7 天净增最近推送登录后收藏
1—Uunclecode / crawl4ai适用于大语言模型和人工智能代理的开源网络爬虫和抓取工具：将任何网站转换为干净、适合大语言模型的 Markdown。自己运行，或者一键使用Crawl4AI Cloud。加入我们的 Discord https://discord.gg/VuxzM8mtfPythonApache-2.0 · 宽松，可直接商用名次历史不足86,7779,043——2026-11-02
3—Llexmount / moli作者声明：适用于 AI 代理的最佳无头浏览器。精简、快速、高兼容性。内置 RustRustApache-2.0 · 宽松，可直接商用名次历史不足22,222610——2026-11-02
4—Ccrawlab-team / crawlabDistributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台,支持任何语言和框架GoBSD-3-Clause · 宽松，可直接商用名次历史不足12,2901,884——2026-02-10
5—Sssssssss-team / spider-flow新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。JavaMIT · 宽松，可直接商用名次历史不足11,3652,167——2023-06-14
6—Aapify / crawlee-pythonCrawlee——一个用于 Python 的网络抓取和浏览器自动化库，用于构建可靠的爬虫。提取 AI、LLM、RAG 或 GPT 的数据。从网站下载 HTML、PDF、JPG、PNG 和其他文件。适用于 Parsel、BeautifulSoup、Playwright 和原始 HTTP。有头模式和无头模式。通过代理轮换。PythonApache-2.0 · 宽松，可直接商用名次历史不足9,637820——2026-11-02
7—Aadithya-s-k / omniparse摄取、解析和优化从文档到多媒体的任何数据格式➡️，以增强与 GenAI 框架的兼容性PythonGPL-3.0 · 需开源衍生作品名次历史不足7,936675——2025-12-12
8—Ffirecrawl / firecrawl-mcp-server官方 Firecrawl MCP 服务器，AI 代理的上下文 API：从任何 MCP 客户端搜索、抓取和与网络交互，以及解析、爬行、映射、代理和监控。JavaScriptMIT · 宽松，可直接商用名次历史不足7,754926——2026-11-03
10—KKnockOutEZ / wigoloAI 编码代理的首选网络 — 通过 MCP 进行本地优先搜索、获取、爬行和研究。没有 API 密钥，没有云，每次查询 0 美元。公开测试版。TypeScriptNOASSERTION · 限制商用 / 未知名次历史不足5,524455——2026-11-02
12—AAnakin-Inc / anakin开源网络抓取 API。将任何网站转换为干净的 Markdown 或结构化 JSON。反检测浏览器、自动选择代理、自托管。一个命令：化妆GoAGPL-3.0 · 需开源衍生作品名次历史不足3,881164——2026-08-18
13—00xMassi / webclaw为大语言模型提供快速、本地优先的 Web 内容提取。抓取、抓取、提取结构化数据——全部来自 Rust。 CLI、REST API 和 MCP 服务器。RustAGPL-3.0 · 需开源衍生作品名次历史不足2,422240——2026-11-03
14—Ffirecrawl / firecrawl-app-examples🔥 该存储库包含完整的应用程序示例，包括使用 Firecrawl 开发的网站和其他项目。Jupyter Notebook未知 · 限制商用 / 未知名次历史不足835209——2026-01-13
16—SSriram-PR / doc-scraper使用网络爬虫抓取文档站点并将内容转换为干净的 Markdown 以供 LLM 摄取（RAG、训练数据）GoApache-2.0 · 宽松，可直接商用名次历史不足10823——2026-11-03
商用三档依据许可证元数据自动分类；具体义务需结合实际使用方式核对。未知不等于禁止商用。