礼物队长

帅气的我简直无法用语言描述！

文章1 网址0 书籍0 软件0 评论4

2025-11-09 08:12:26

很棒！！！！！！！！！！ [g=yun]

评论于：北京时间

2025-11-05 11:25:13

everygood!

评论于： mi.com

2025-10-06 23:14:32

[g=zhouma] 很好可以百度收录，而且收录速度快真的不错很给力啊！值得给个红红的

评论于：起名取名命名知识

2025-09-17 12:13:53

Scaling Law.简单讲，就是暴力美学。在模型架构（transformer）基本不变的情况下，增加模型大小、数据量、算力资源，都能让模型达到更好的效果。目前的大模型架构是基于8年前的一篇文章，attention is all you need，基本架构到现在几乎没动过！openai最早把第一个要素，即模型规模做到了极致，（当年1700亿参数的gpt3确实很吓人），力大砖飞，成就了现在最强ai公司；老黄靠着买显卡，给大家提供算力资源，让英伟达曾一度超越苹果，成为市值最高的公司；按照现在人类的生产力，模型规模和算力资源都不是问题，无非就是烧嘛，钱能解决的都不叫事。但是，现在的问题是数据已经到了瓶颈，毕竟互联网包括人类几千年留下的书籍就那么多，另外，新增的互联网数据可能大多都是垃圾（没错，就是微博之类的互联网垃圾）导致数据已经撞墙了。既然大模型的预训练已经遇到了不小的瓶颈，所以现在大部分公司开始了转向后训练，通过RL来提高模型的能力。毕竟，解决不了的问题，只能靠脑子来解决了

评论于： Scaling Law

没有更多了