全部项目
当前范围的仓库 33 · UTC 2026-11-05
对比排名项目StarFork30 天趋势7 天净增最近推送登录后收藏
1—Nnomic-ai / gpt4allGPT4All：在任何设备上运行本地 LLM。开源并可用于商业用途。C++MIT · 宽松，可直接商用名次历史不足77,3468,262——2025-05-27
3—Lliguodongiot / llm-action本项目旨在分享大模型相关技术原理以及实战经验(大模型工程化、大模型应用落地)HTMLApache-2.0 · 宽松，可直接商用名次历史不足25,2432,858——2026-10-14
4—LLightning-AI / litgpt20 多个高性能大语言模型，提供大规模预训练、微调和部署的方法。PythonApache-2.0 · 宽松，可直接商用名次历史不足13,7431,542——2026-11-01
5—Bbentoml / OpenLLM在云中运行任何开源 LLM（例如 DeepSeek 和 Llama）作为 OpenAI 兼容 API 端点。PythonApache-2.0 · 宽松，可直接商用名次历史不足12,581849——2026-11-02
6—Oopenvinotoolkit / openvinoOpenVINOTM 是一个用于优化和部署 AI 推理的开源工具包C++Apache-2.0 · 宽松，可直接商用名次历史不足11,1033,520——2026-11-03
8—FFareedKhan-dev / kimi-k3-in-c2.78 万亿参数的 Kimi K3 在 8.24 GB RAM 的单个 CPU 上运行推理。便携式 C99：无 BLAS、无框架、无 GPU。CApache-2.0 · 宽松，可直接商用名次历史不足9,5551,541——2026-10-02
9—Bbentoml / BentoML服务 AI 应用程序和模型的最简单方法 - 构建模型推理 API、作业队列、LLM 应用程序、多模型管道等等！PythonApache-2.0 · 宽松，可直接商用名次历史不足8,9331,055——2026-11-02
11—IInternLM / lmdeployLMDeploy 是一个用于压缩、部署和服务 LLM 的工具包。PythonApache-2.0 · 宽松，可直接商用名次历史不足8,129773——2026-11-03
12—Aalgorithmicsuperintelligence / openevolveAlphaEvolve 的开源实现PythonApache-2.0 · 宽松，可直接商用名次历史不足7,6961,206——2026-11-02
13—Bbojieli / ai-infra-book《深入理解 AI Infra:量化分析与系统设计》(李博杰 著)开源书稿:从硬件约束和模型架构出发,量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验PythonApache-2.0 · 宽松，可直接商用名次历史不足7,263574——2026-10-01
14—Ddrumih / turbo-fieldfare在任何 M 系列 MacBook 上约 2 GB RAM 中进行 Gemma 4 26B-A4B 推理SwiftApache-2.0 · 宽松，可直接商用名次历史不足7,113463——2026-10-26
15—Kkatanemo / planoPlano 是用于代理应用程序的 AI 原生代理服务器和数据平面。智能 LLM 路由、可观察性、代理编排和护栏，让您能够专注于代理核心逻辑。RustApache-2.0 · 宽松，可直接商用名次历史不足7,106494——2026-10-24
16—Fflashinfer-ai / flashinferFlashInfer：LLM 服务的内核库CudaApache-2.0 · 宽松，可直接商用名次历史不足6,8421,688——2026-11-03
17—Kkserve / kserve用于 Kubernetes 上可扩展、多框架部署的标准化分布式生成和预测 AI 推理平台GoApache-2.0 · 宽松，可直接商用名次历史不足6,1821,775——2026-11-02
18—Ccactus-compute / cactus适用于手机、可穿戴设备、智能家居和机器人的量化、内核、运行时和推理引擎。C++NOASSERTION · 限制商用 / 未知名次历史不足6,174516——2026-09-26
19—Llemonade-sdk / lemonadeLemonade 通过直接从用户自己的 GPU 和 NPU 提供优化的 LLM 服务，帮助用户发现和运行本地 AI 应用程序。加入我们的不和谐：https://discord.gg/5xXzkMu8ZkC++Apache-2.0 · 宽松，可直接商用名次历史不足6,085551——2026-11-03
20—MMichael-A-Kuykendall / shimmy⚡ Pure-Rust WebGPU 推理引擎 - OpenAI-API 兼容，GGUF 原生，可在任何 GPU 上运行。没有Python。没有 llama.cpp。单个二进制。RustApache-2.0 · 宽松，可直接商用名次历史不足6,008587——2026-11-01
商用三档依据许可证元数据自动分类；具体义务需结合实际使用方式核对。未知不等于禁止商用。