NVIDIA / TensorRT-LLM
TensorRT LLM 为用户提供了易于使用的 Python API 来定义大型语言模型 (LLM)，并支持最先进的优化，以便在 NVIDIA GPU 上高效地执行推理。 TensorRT LLM 还包含用于创建 Python 和 C++ 运行时的组件，这些运行时以高性能的方式编排推理执行。
用途与选型
作者简介：TensorRT LLM 为用户提供了易于使用的 Python API 来定义大型语言模型 (LLM)，并支持最先进的优化，以便在 NVIDIA GPU 上高效地执行推理。 TensorRT LLM 还包含用于创建 Python 和 C++ 运行时的组件，这些运行时以高性能的方式编排推理执行。
这是基于官方公开资料的基础收录，尚未进行独立功能评测。
- 按用途浏览
- 模型运行与服务
Star 趋势（估计）
含 GitHub 历史聚合回填估计值，不计入净增长榜。已取消的 Star 不在历史中，日期边界不保证 UTC；估计值不是历史日末净 Star。仓库信息
GitHub 仓库 Star，不是独立使用人数或单项技能安装量
商用三档依据许可证元数据自动分类；具体义务需结合实际使用方式核对。未知不等于禁止商用。