新大模型推理优化的几个常见技术
。结构裁剪面对超大参数量模型，不做裁剪直接部署，那是真不现实。常用的一招是剪掉影响不大的层，列如中间冗余的attention block，或者MLP里维度特别高的部分。 也可以用结构重参数化的思路，把...
排序
新如何通过推理加速优化你的大模型？
目前大模型火归火，但落地一看推理慢、资源吃紧，许多都跑不动，特别是在边缘设备或者商用场景里。所以推理加速优化，真的就是决定能不能真正work的关键。我们来聊聊2025年比较实用、还挺有前景的优化手段...