全部项目
当前范围的仓库 24 · UTC 2026-11-04
对比排名项目StarFork30 天趋势7 天净增最近推送登录后收藏
1—Sscrapy / scrapyScrapy，一个用于 Python 的快速高级网络爬行和抓取框架。PythonBSD-3-Clause · 宽松，可直接商用名次历史不足65,19012,095——2026-11-02
7—Uultrafunkamsterdam / undetected-chromedriver定制 Selenium Chromedriver |零配置|通过所有机器人缓解系统（例如 Distil / Imperva/ Datadadome / CloudFlare IUAM）PythonGPL-3.0 · 需开源衍生作品名次历史不足12,8961,347——2025-07-05
8—Jjo-inc / camofox-browser适用于 AI 代理的隐形无头浏览器 — 绕过 Cloudflare、机器人检测和反抓取。替代木偶师/剧作家。JavaScriptMIT · 宽松，可直接商用名次历史不足12,1191,225——2026-11-02
10—Aapify / crawlee-pythonCrawlee——一个用于 Python 的网络抓取和浏览器自动化库，用于构建可靠的爬虫。提取 AI、LLM、RAG 或 GPT 的数据。从网站下载 HTML、PDF、JPG、PNG 和其他文件。适用于 Parsel、BeautifulSoup、Playwright 和原始 HTTP。有头模式和无头模式。通过代理轮换。PythonApache-2.0 · 宽松，可直接商用名次历史不足9,637820——2026-11-02
11—Llorien / awesome-web-scraping用于网络抓取和数据处理的库、工具和 API 列表。JavaScriptNOASSERTION · 限制商用 / 未知名次历史不足8,207969——2026-10-27
12—Aalirezamika / autoscraper一个智能、自动、快速、轻量级的 Python 网络爬虫PythonMIT · 宽松，可直接商用名次历史不足8,068833——2026-07-29
14—Aautoscrape-labs / pydollPydoll 是一个无需 WebDriver 即可实现基于 chromium 的浏览器自动化的库，可提供真实的交互。HTMLMIT · 宽松，可直接商用名次历史不足7,132413——2026-10-09
15—Aadbar / trafilatura用于在 Web 上收集文本和元数据的 Python 和命令行工具：抓取、抓取、提取、输出为 CSV、JSON、HTML、MD、TXT、XMLPythonApache-2.0 · 宽松，可直接商用名次历史不足7,065487——2026-10-30
16—Pproxifly / free-proxy-list🚀 免费 HTTP、SOCKS4 和 SOCKS5 代理列表 * 每 5 分钟更新一次 * 和轮换代理 API（100 多个国家/地区）未知GPL-3.0 · 需开源衍生作品名次历史不足7,000802——2026-11-03
17—Yyujiosaka / headless-chrome-crawler由 Headless Chrome 提供支持的分布式爬虫JavaScriptMIT · 宽松，可直接商用名次历史不足5,632403——2023-04-29
19—Dd60 / twikitTwitter API 抓取器 |没有 API 密钥 | Twitter 内部 API |免费|推特刮刀|推特机器人PythonMIT · 宽松，可直接商用名次历史不足4,762575——2026-03-10
20—Ssparklemotion / mechanizeMechanize 是一个 Ruby 库，可以轻松实现自动化 Web 交互。RubyMIT · 宽松，可直接商用名次历史不足4,445477——2026-10-26
商用三档依据许可证元数据自动分类；具体义务需结合实际使用方式核对。未知不等于禁止商用。