microsoft / LLMLingua
[EMNLP'23, ACL'24] 为了加快LLM的推理速度并增强LLM对关键信息的感知，可以对提示和KV-Cache进行压缩，从而以最小的性能损失实现高达20倍的压缩。
用途与选型
作者简介：[EMNLP'23, ACL'24] 为了加快LLM的推理速度并增强LLM对关键信息的感知，可以对提示和KV-Cache进行压缩，从而以最小的性能损失实现高达20倍的压缩。
这是基于官方公开资料的基础收录，尚未进行独立功能评测。
- 按用途浏览
- AI 与智能体
Star 趋势（估计）
含 GitHub 历史聚合回填估计值，不计入净增长榜。已取消的 Star 不在历史中，日期边界不保证 UTC；估计值不是历史日末净 Star。仓库信息
GitHub 仓库 Star，不是独立使用人数或单项技能安装量
商用三档依据许可证元数据自动分类；具体义务需结合实际使用方式核对。未知不等于禁止商用。