全部项目
当前范围的仓库 53 · UTC 2026-11-04
对比排名项目StarFork30 天趋势7 天净增最近推送登录后收藏
2—Uunclecode / crawl4ai适用于大语言模型和人工智能代理的开源网络爬虫和抓取工具：将任何网站转换为干净、适合大语言模型的 Markdown。自己运行，或者一键使用Crawl4AI Cloud。加入我们的 Discord https://discord.gg/VuxzM8mtfPythonApache-2.0 · 宽松，可直接商用名次历史不足86,7779,043——2026-11-02
3—Sscrapy / scrapyScrapy，一个用于 Python 的快速高级网络爬行和抓取框架。PythonBSD-3-Clause · 宽松，可直接商用名次历史不足65,19012,095——2026-11-02
4—NNaiboWang / EasySpiderA visual no-code/code-free web crawler/spider易采集:一个可视化浏览器自动化测试/数据采集/网页爬虫软件,可以无代码图形化的设计和执行爬虫任务。别名:ServiceWrapper面向Web应用的智能化服务封装系统。JavaScriptAGPL-3.0 · 需开源衍生作品名次历史不足44,7655,393——2026-11-02
7—Aapify / crawlee面向 Node.js 的网页抓取与浏览器自动化库，支持 JavaScript 和 TypeScript。TypeScriptApache-2.0 · 宽松，可直接商用名次历史不足26,3171,740——2026-11-02
10—EEvil0ctal / Douyin_TikTok_Download_API🚀 自托管的抖音、TikTok、B 站数据采集与无水印视频下载 API,支持 AI agent 通过 MCP 调用与离线语音转文字,Docker 一键部署。| Self-hosted TikTok, Douyin & Bilibili scraper and no-watermark video downloader — async REST API, MCP server for AI agents, CLI and web console, plus offline speech-to-text for downloaded videos. Self-healing identity pool, PostgreSQL archive, one docker compose up.PythonApache-2.0 · 宽松，可直接商用名次历史不足21,1122,938——2026-11-02
11—Ggetmaxun / maxun将网站内容提取为结构化接口，并支持搜索、监测与自动化处理。TypeScriptAGPL-3.0 · 需开源衍生作品名次历史不足18,1331,564——2026-10-28
13—Ccodelucas / newspaper报纸3k是Python 3中的新闻、全文和文章元数据提取。高级文档：PythonMIT · 宽松，可直接商用名次历史不足15,1822,103——2026-10-26
14—Sshengqiangzhang / examples-of-web-crawlers一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )HTMLMIT · 宽松，可直接商用名次历史不足14,7093,751——2025-06-28
16—Ccrawlab-team / crawlabDistributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台,支持任何语言和框架GoBSD-3-Clause · 宽松，可直接商用名次历史不足12,2901,884——2026-02-10
18—Sssssssss-team / spider-flow新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。JavaMIT · 宽松，可直接商用名次历史不足11,3652,167——2023-06-14
19—Iinjetlee / PythonPython脚本。模拟登录知乎, 爬虫,操作excel,微信公众号,远程开机Python未知 · 限制商用 / 未知名次历史不足10,8944,244——2026-05-09
20—Gguyueyingmu / avbookAV 电影管理系统, avmoo , javbus , javlibrary 爬虫,线上 AV 影片图书馆,AV 磁力链接数据库,Japanese Adult Video Library,Adult Video Magnet Links - Japanese Adult Video DatabasePHP未知 · 限制商用 / 未知名次历史不足10,1001,992——2024-06-01
商用三档依据许可证元数据自动分类；具体义务需结合实际使用方式核对。未知不等于禁止商用。