全部项目
当前范围的仓库 26 · UTC 2026-11-03
对比排名项目StarFork30 天趋势7 天净增最近推送登录后收藏
4—Lliguodongiot / llm-action本项目旨在分享大模型相关技术原理以及实战经验(大模型工程化、大模型应用落地)HTMLApache-2.0 · 宽松，可直接商用名次历史不足25,2432,858——2026-10-14
5—Jjundot / omlxLLM 推理服务器，具有适用于 Apple Silicon 的连续批处理和 SSD 缓存 - 从 macOS 菜单栏进行管理PythonApache-2.0 · 宽松，可直接商用名次历史不足23,3072,089——2026-11-03
6—NNVIDIA / TensorRT-LLMTensorRT LLM 为用户提供了易于使用的 Python API 来定义大型语言模型 (LLM)，并支持最先进的优化，以便在 NVIDIA GPU 上高效地执行推理。 TensorRT LLM 还包含用于创建 Python 和 C++ 运行时的组件，这些运行时以高性能的方式编排推理执行。PythonNOASSERTION · 限制商用 / 未知名次历史不足14,9952,901——2026-11-03
7—Bbentoml / OpenLLM在云中运行任何开源 LLM（例如 DeepSeek 和 Llama）作为 OpenAI 兼容 API 端点。PythonApache-2.0 · 宽松，可直接商用名次历史不足12,581849——2026-11-02
8—Sskypilot-org / skypilot面向前沿团队的人工智能计算平台。 SkyPilot 将分散的人工智能计算转变为一台人工智能超级计算机，因此前沿人工智能团队可以更快地构建定制智能。PythonApache-2.0 · 宽松，可直接商用名次历史不足10,7851,328——2026-11-03
9—Bbentoml / BentoML服务 AI 应用程序和模型的最简单方法 - 构建模型推理 API、作业队列、LLM 应用程序、多模型管道等等！PythonApache-2.0 · 宽松，可直接商用名次历史不足8,9331,055——2026-11-02
10—Fflyteorg / flyte类型安全、代理的分布式编排、ML 管道以及 k8s 上的实时推理 - 使用带有 async/await 的纯 Python 以及其他语言（rust、go 和 ts）GoApache-2.0 · 宽松，可直接商用名次历史不足7,846918——2026-11-02
12—Bbojieli / ai-infra-book《深入理解 AI Infra:量化分析与系统设计》(李博杰 著)开源书稿:从硬件约束和模型架构出发,量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验PythonApache-2.0 · 宽松，可直接商用名次历史不足7,263574——2026-10-01
13—Kkserve / kserve用于 Kubernetes 上可扩展、多框架部署的标准化分布式生成和预测 AI 推理平台GoApache-2.0 · 宽松，可直接商用名次历史不足6,1821,775——2026-11-02
14—MMichael-A-Kuykendall / shimmy⚡ Pure-Rust WebGPU 推理引擎 - OpenAI-API 兼容，GGUF 原生，可在任何 GPU 上运行。没有Python。没有 llama.cpp。单个二进制。RustApache-2.0 · 宽松，可直接商用名次历史不足6,008587——2026-11-01
15—Ggpustack / gpustack用于高性能 AI 模型服务（vLLM、SGLang）和按需可通过 SSH 访问的 GPU 实例的 GPU 集群管理器。PythonApache-2.0 · 宽松，可直接商用名次历史不足5,956712——2026-11-03
17—Ssuperduper-io / superduperSuperduper：用于构建自定义人工智能应用程序和代理的端到端框架。PythonApache-2.0 · 宽松，可直接商用名次历史不足5,330546——2025-09-01
18—HHuaizhengZhang / AI-Infra-from-Zero-to-Hero🚀 很棒的机器学习系统 ⚡️ AI 系统论文和行业实践。 ⚡️ 机器学习系统、LLM（大型语言模型）、GenAI（生成式人工智能）。 🍻 OSDI、NSDI、SIGCOMM、SoCC、MLSys 等。 🗃️ Llama3、Mistral 等。 🧑💻 视频教程。未知MIT · 宽松，可直接商用名次历史不足4,459416——2025-07-25
19—Aahkarami / Deep-Learning-in-Production在此存储库中，我将分享一些有关在生产中部署基于深度学习的模型的有用注释和参考。未知未知 · 限制商用 / 未知名次历史不足4,378685——2024-11-09
20—MModelTC / LightLLMLightLLM 是一个基于 Python 的 LLM（大型语言模型）推理和服务框架，以其轻量级设计、易于扩展和高速性能而著称。PythonApache-2.0 · 宽松，可直接商用名次历史不足4,351383——2026-11-03
商用三档依据许可证元数据自动分类；具体义务需结合实际使用方式核对。未知不等于禁止商用。