宗岩

大模型（LLMs）微调面试 1. 全参数微调显存需求 显存估算：模型参数规模（nB）与显存需求（1620nG）成正比，例如Vicuna7B需4张A100 40G显卡。 优化技术：FSDP、梯度累积、梯...