在境子面前从来不是一个单一的自己，而是无数碎片拼凑的复杂拼图
或许，这就是许多人内心的真实写照。我们在镜子前看到的，从来不是一个单一的自己，而是无数碎片拼凑而成的复杂拼图。有时候，我们像一只在暗影中徘徊的猫，既害怕被发现，又渴望被理解；有时候，又像一只在阳光下欢...
大模型推理优化篇之投机采样Decoding
🌟🌟🌟投机采样可以从解码方式上缓解内存访问带宽的瓶颈，并且保证了原始大模型和近似小模型输出分布保持一致。 1⃣️投机采样使用两个模型，一个是原始大模型，一个是参数更少，规模更小的近似小模型。近似模型用...