预测性投机式KV复制用于突发式LLM推理 预测性投机式KV复制是一种利用机器学习预测流量模式并主动复制KV缓存的方法，旨在优化突发式LLM推理的性能。 2026-08-01 AI & Machine Learning 0 Administrator
预测性投机式KV复制用于突发式LLM推理 预测性推测性KV复制是一种通过主动复制KV缓存条目来预测和缓解突发负载影响的技术，旨在降低LLM推理的延迟并提高吞吐量。 2026-08-01 AI & Machine Learning 0 Administrator