全部项目
当前范围的仓库 16 · UTC 2026-11-04
对比排名项目StarFork30 天趋势7 天净增最近推送登录后收藏
2—Sscrapy / scrapyScrapy，一个用于 Python 的快速高级网络爬行和抓取框架。PythonBSD-3-Clause · 宽松，可直接商用名次历史不足65,19012,095——2026-11-02
3—Aapify / crawlee面向 Node.js 的网页抓取与浏览器自动化库，支持 JavaScript 和 TypeScript。TypeScriptApache-2.0 · 宽松，可直接商用名次历史不足26,3171,740——2026-11-02
5—Ggetmaxun / maxun将网站内容提取为结构化接口，并支持搜索、监测与自动化处理。TypeScriptAGPL-3.0 · 需开源衍生作品名次历史不足18,1331,564——2026-10-28
6—Ccodelucas / newspaper报纸3k是Python 3中的新闻、全文和文章元数据提取。高级文档：PythonMIT · 宽松，可直接商用名次历史不足15,1822,103——2026-10-26
7—Aapify / crawlee-pythonCrawlee——一个用于 Python 的网络抓取和浏览器自动化库，用于构建可靠的爬虫。提取 AI、LLM、RAG 或 GPT 的数据。从网站下载 HTML、PDF、JPG、PNG 和其他文件。适用于 Parsel、BeautifulSoup、Playwright 和原始 HTTP。有头模式和无头模式。通过代理轮换。PythonApache-2.0 · 宽松，可直接商用名次历史不足9,637820——2026-11-02
8—Llorien / awesome-web-scraping用于网络抓取和数据处理的库、工具和 API 列表。JavaScriptNOASSERTION · 限制商用 / 未知名次历史不足8,207969——2026-10-27
10—Yyujiosaka / headless-chrome-crawler由 Headless Chrome 提供支持的分布式爬虫JavaScriptMIT · 宽松，可直接商用名次历史不足5,632403——2023-04-29
12—Hhakluke / hakrawler简单、快速的网络爬虫，旨在轻松、快速地发现 Web 应用程序中的端点和资产GoGPL-3.0 · 需开源衍生作品名次历史不足5,157539——2026-08-05
15—Eedoardottt / cariddi获取域列表、抓取 URL 并扫描端点、机密、API 密钥、文件扩展名、令牌等GoGPL-3.0 · 需开源衍生作品名次历史不足3,811344——2026-10-30
商用三档依据许可证元数据自动分类；具体义务需结合实际使用方式核对。未知不等于禁止商用。