IT之家1月17日消息，研究公司Snowflak《天龙八部sf》

IT之家1月17日消息，研究公司Snowflake公布了一款名为“SwiftKV”的AI模型调校技术，并在HuggingFace开源三款利用“SwiftKV”技术进行调校的Llama3.1AI模型（点此访问）。

IT之家获悉，SwiftKV技术的核心在于优化模型提示处理过程。研究人员指出通常情况下大模型最为消计算资源的环节在于处理户为模型输入的提示词，许多企业为模型自定义了长的提示词，据称平均情“大约是输出生成内容的10倍”。

据Snowflake介绍，这一“SwiftKV”模型调校技术专门为相应预的提示词处理进行优化，称突破了传统的键值（Key-Value，KV）缓存压缩技术，还在模型推过程中引入模型重组与知保存自我蒸馏方法，从而效提升模型吞吐量、降低延迟和运算成本，号称可帮助AI模型显著缩短推理时间，可以降低模型50%推论时间。

实验结果表明，在利用SwiftKV技术优化Llama3.1的80亿和700亿参数模型后，相应模型的整体吞吐量可提升两倍同时相应模型也在代码自补全、文本摘要等方面表出色。

　 IT之家1月17日消息，研究公司Snowflak（ 2025-05-09 17:51:12版）

分享让更多人看到