头像

帅帅帅帅

帅气的我简直无法用语言描述!

为什么RL的scaling law这么难搞?🤔

在LLM领域,大家早就习惯用 scaling law 来预测性能了:给定算力(FLOPs)、数据量、模型大小,大概就能算出什么 batch size、多少 epoch 才是最优解。小实验的结果就能推测...
头像1天前
000