OpenAI发布O3

mimighost

搞思想实验一点儿意思都没有

ai现在就像是38年的核裂变，实验成功了，能做成啥，谁都没数。当年海森堡那系的人打死都不相信美国人能把核弹小型化成功，他们错误的计算认为核弹最后要重达10顿，只能搞紫砂船去爆破敌人的港口，所以很早就放弃了武器化的研究，转而研究反应堆相关的应用去了。结果咋样大家现在也知道了。当然当他知道美国真的把核弹搞出来的时候，和关一起的那些德国科学家一起抱团否认现实的表现就变成喜剧了。

ai现在就是这种状况。o3的推理能力，在benchmark上已经远超人类，但是实际上要产生工程价值还远。o3出来我思考了很长时间，我觉得目前的问题在于，整个人类软件工程的实践和目前的ai能力并不匹配，如果软工的认知不更新，强行引入ai会产生一些可笑的结果的。比如我知道的一个项目就是试图用ai来写单元测试，后来那些码农无脑通过ai写的代码，非但没有增加代码的健壮性，反而引入一大堆一知半解的垃圾代码，被上面狠批了一顿。

当然这不是唱衰ai，ai成为写码的主力的那一天，我觉得已经是注定会到来。到时候怎么让人类来插入这个流程就是一个很有价值的问题了。

软件行业面临大洗牌，终于感受到当年学长给我说的干到老学到老，这行的经验真不值钱

wqm2008

铃森冬 发表于 2024-12-22 16:37
力大砖飞式的工作，主要价值在于给投资人和围观群众展示 o1 的方法堆推理时间上限真的很高

不过话说回来推 ...

AI4S这块先搓出一个商业化的FIC出来再说某些任务上行，所有AI+drugs，晶泰智峪星药深势还是海外的Exscientia纯纯cjb，建议不要贷款cjb

空気力学

alixsander 发表于 2024-12-23 15:46
迷惑发言：
1.熵减是热力学系统概念，越有序熵越低。信息熵定义不一样，信息越有价值信息熵越高，为什么 ...

说得不够清楚是我的错。
> 1.熵减是热力学系统概念，越有序熵越低。信息熵定义不一样，信息越有价值信息熵越高，为什么要熵减？

信息越丰富则信息熵越高，例如均匀分布的熵就比狄拉克分布要高。LLM作为生成模型可以产生很丰富的信息是没错，但是问题在于LLM本身无法像人一样从中提取出“正确”的信息。从丰富的假设中找到正确的答案就是“熵减”的过程。就现在的结果来看，LLM确实具有语言智能，但是它并不能学会严谨的逻辑推理和计算，它所做的一切都是在语言上模仿训练集中存在的逻辑规律，而非真正地进行逻辑分析。

> 2.当然可以自举，当前已经大量使用合成语料，大模型训小模型进行预训练了。预训练到头是ILYA说的，meta和OAI并不同意。

用GPT-4o生成的语料可以提升小模型的性能不假，但它能训练出和GPT-4o同等的LLM吗？之前已经有论文尝试用LLM自己生成训练语料来尝试自举，结果是模型的输出很快坍缩到少量固定的模式中。GPT4o生成的语料要是能支持它自举，也不会有Closed AI说训练语料不够用的传闻了。说到底，LLM还是需要依赖外部智能的输入来筛选生成语料中的有用信息，实现“熵减”。

> 3.自然语言和LLM都不是词表映射。这几乎是不证自明的。1B模型就能正常说话，查找表能那么小？现在还认为LLM是表象的next token prediction也太迟钝了，除非你说你没关心这块的发展。

我不是说LLM是简单的词表映射，实际发生的是发生在某些连续的latent space的相关性映射。语言的规律和基础逻辑就蕴含在这样的映射中。LLM确实具有很好的语言能力，但是这种能力只是AGI想要的智能所包含的一个子集。

> 就像LeCun之前认为的，LLM一定无药可救，因为仅仅是自回归猜字必然导致累积误差随输出增长而增大，必然导致长输出胡言乱语。然而实际上呢，推理时越大（而且只是单纯的接字没有MCTS之类的东西）性能和洞察力越强，说明自回归只是输出它…

我也没有说LLM只是简单的regression model。显然魔法主要发生在预训练后的RLHF。更多的模型参数显然可以让模型学到更多蕴含在语料中的token相关性以及人类反馈评价中包含的推理和逻辑能力，但是这也不能证明LLM具有除了语言能力之外通向AGI需要的全部智能。事实就是现在依然没有LLM可以在数学计算上达到经过训练的人类一样的可靠性。LLM表现出来的智能仍然是基于regression的模仿而不是主动、严谨的逻辑思考。

要实现AGI显然需要LLM框架以外的新模型和方法。

素盏鸣尊

痴货 发表于 2024-12-23 09:03
目前推动的所谓AGI就是个很矛盾的概念。不同于工业革命，如果达成了的话导致大部分人工生产力被替代，大量 ...

ilya算个吊。被金闪闪秒的货，这事还得听论坛砖家@月珊瑚与紫鸢尾 的。三个月前信誓旦旦告诉我数据和化石能源一样一百年内都不会枯竭。