匠人春锁

.KV Cache是大模型推理优化的一个常用技术，该技术以空间换时间的思想，通过缓存上一次推理得到的KVs，可以在不影响任何计算精度的前提下，提高推理性能，降低端到端的时延。