什么是Scaling Law？

#机器坏人 #机器学习 #人工智能 #AI新手村 #AI便利店 #scaling_law #深度学习 #原创漫画 #漫画科普 #AI科普

画的太好了，图二中的数据量，模型参数量，芯片的算力这三个让我想起几个数字。三者的比例曾经发生过一些变化，列如scaling law的开篇论文提到数据量是参数量的20倍，效果会最好，但后来发现这个这个比例依旧可以上升，目前的比例可能是上百倍，千倍，列如 2023 年 7 月中旬，llama2 发布，其中 7B 版本的小模型训练数据有 2T，是参数量的 285 倍。
不过算力和参数量的比例是可以通过理论计算出来的，一般情况下是计算量是参数量的20倍。
目前的scaling law的确 有点难以持续前进了，不过即使撞墙，感觉模型能力已经很强了。