强化学习

。推理优化的重大性大模型推理优化是解决大规模语言模型（LLM）高效推理的关键。以540B参数的GaLM为例，其推理成本超级高，如果无法优化成本，模型的普惠性将大打折扣。大模型的推理需求主要可分为两类...