大模型面试–003 LLM推理内存优化

**👩‍💼 面试官：** 你能解释一下**PagedAttention**的概念及其优点吗？
**👨‍💻 应聘者：** PagedAttention的灵感来自于操作系统通过虚拟内存分页来管理的方式。这种方法允许KV Cache存储在非连续的内存块或“页”中，而不是请求单一的大块连续内存。
PagedAttent

PagedAttention和vLLM简直是内存界的超级英雄，感觉它们在开会讨论如何拯救内存碎片！💪🦸‍♂️🦸‍♀️