defilantech / LLMKube
Kubernetes 运算符，用于跨异构 GPU 群进行自托管 LLM 推理：NVIDIA CUDA、AMD Vulkan 和 Apple Silicon Metal。运行时：llama.cpp、vLLM、TGI、mlx-server。多 GPU 分片、模型缓存、OpenAI 兼容端点。 Apache-2.0，跨家庭实验室和本地机群运行，正在积极开发。
用途与选型
作者简介：Kubernetes 运算符，用于跨异构 GPU 群进行自托管 LLM 推理：NVIDIA CUDA、AMD Vulkan 和 Apple Silicon Metal。运行时：llama.cpp、vLLM、TGI、mlx-server。多 GPU 分片、模型缓存、OpenAI 兼容端点。 Apache-2.0，跨家庭实验室和本地机群运行，正在积极开发。
这是基于官方公开资料的基础收录，尚未进行独立功能评测。
- 按用途浏览
- Kubernetes 运维 · 自托管服务
历史不足
仓库信息
GitHub 仓库 Star，不是独立使用人数或单项技能安装量
商用三档依据许可证元数据自动分类；具体义务需结合实际使用方式核对。未知不等于禁止商用。