头像

孙千越

帅气的我简直无法用语言描述!

关于 scaling law 的正确认识

最近scaling law 成了最大的热词。一般的理解就是,想干大模型,清洗干净数据,然后把数据tokens量堆上来,然后搭建一个海量H100的集群,干就完了。训练模型不需要啥技巧,模型结构也没啥好设...
头像1天前
200