5天背完大模型面试八股面试通过率爆表了

大模型（LLMs）微调面试
1. 全参数微调显存需求
显存估算：模型参数规模（nB）与显存需求（1620nG）成正比，例如Vicuna7B需4张A100 40G显卡。
优化技术：FSDP、梯度累积、梯度检查点可降低显存占用。
2. 指令微调（SFT）关键问题
SFT后模型性能下降：
原因：数据量不足（如仅52k样本），

获取同款笔记及更多，请点击：面试八股AI大模型