继续分享对OpenAI o1 模型和AI发展的看法: 从System1到System2的转变 1. OpenAI的O1模型代表了AI发展的一个重要转折点,标志着我们可能正从System1(快思考)的scaling law时代过渡到System2(慢思考)的新时代。 System1和System2的概念源自《思考,快外行请教一下串行是什么? Blackwell的速度有没有可能和Groq是可比的?
最后agi到目前还是有多少人工才有多少智能
不是说o1的模型比gpt4更小吗?为什么需要更大计量?
是的,infer的scale刚刚开始
谢谢分享,总结得很好
[g=baiyan] “串行速度”指处理连续、依赖性强的任务的能力。在AI推理,特别是涉及复杂推理(如agent flow)的场景中,许多操作需要按特定顺序执行,前一步的输出往往是下一步的输入。这种连续的、难以并行化的处理过程对处理器的串行性能提出了更高的要求。
xian
请问重金找phd做标注,是指直接标注最终llm的训练数据,还是标注reward模型的训练数据
[g=piezui] 好几个人问我了,原理上是。但我还得深入看看
堆砌了一堆词 不知道在说什么
infer 的scaling law真的很值得研究,不过training有loss转折的包络线作为拟合的,而infer的scaling准备拟合的是挺值得讨论的,列如加推理step与准确率的转折点的包络线 [g=wozuimei]
我感觉总结够凝练的了可能得分成 10 条发,看着不堆砌
我理解是reward模型?预训练数据是不标注的
推理计算量
但还有个问题,人是无缝切换sys1和sys2的,不知道大模型能不能很好的做到这一点
是否意味着利好推理大算力芯片?
谢谢,就是内容有点多,我应该拆成几篇的。怕大家觉得我灌水,还是放在一篇发了,小红书都放不开。。
大模型有点慢。希望未来可以无缝,目前许多人就说,有时候问很简单问题,并不需要system2,但大模型还得想半天,哈哈哈。还得自己手动选择模型。。。