昨天一篇the information的文章已经引起轩然大波，核心信息点就一个——
scaling law撞墙了！
当然它逐渐放缓是迫不得已，原因之一是高质量文本数据越来越少。
👆🏻这个观点和前几天流出的奥特曼的观点相左，奥特曼在伦敦的devday上还说他坚信scaling law仍然有效，并且相信它长期有
哈哈竟然刷到自己写的文章了 没有商量好发文时间 只能说大家都发现了这个问题的重大性吧～我们也问了Ilya他们在突破点在哪里 他们没有分享但是听上去感觉不是OpenAI的test time compute。 我个人可能不觉得这意味万卡集群不重大，你把training阶段的compute用到极限（超级有效）才会想法设法在别的方面加compute
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
没有相关内容!
真形象，真绝望
虽然不懂大模型细节，但提一句，几年前智驾也是在喊“数据飞轮”解决一切的，目前的情况都知道了。
ilya提过，关键是scaling什么
智驾那个萝卜快跑上路不是已经比之前很强了吗？应该纯属是成本还比不过人力吧
寻找其他方向实际就意味着你已经认定当前方向出路已尽
这应该就是表明了在寻找另一种新方法的scaling law吧，并没有放弃scaling law，只是在找新的方式
奥特曼还要靠着scaling law明年就实现agi那
好消息，又开始了新一轮explore, 希望顶尖科学家能干过纯商人 [g=zaijian]
agi是啥都搞不清楚，每个人都说自己是agi
[g=bishi] 资本炒作这么久我还是不知道AGI究竟是什么，但不可否认LLM很有用。
AGI本来就是自说自话，世界上每个人都能定义AGI目前也没有统一标准总不能是全知全能的神吧，那到底能干什么不能干什么，谁说了算？
没撞墙他们应该都还在OpenAI。
领着大家走了一路，看起来比其他路都好走的多，结果尽头是一堵高墙是嘛
[g=zhouma][g=zhouma] 你这个方法不就是openai目前的o1模型吗，我感觉Ilya可能不是这个吧，也许他是其它方法
看起来当前ai厂家遇到危机了，o1也不必定能解决， 最好的办法是创建新模型然后让它生成高质量推理数据去训练大模型 – 感觉ilya的思路也是这个。 更细的步骤去描述推理过程
scaling law怎么会撞墙，Scaling law就是墙