预测性投机式KV复制用于突发式LLM推理

预测性投机式KV复制是一种利用机器学习预测流量模式并主动复制KV缓存的方法,旨在优化突发式LLM推理的性能。