找回密码
 立即注册
搜索
查看: 3228|回复: 23

[科技] OpenAI前员工长文鼓吹AGI军备竞赛

[复制链接]
     
发表于 2024-6-20 12:35 | 显示全部楼层 |阅读模式
本帖最后由 铃森冬 于 2024-6-20 13:50 编辑

昨天看了一晚上,前面的技术部分写的还像模像样的,后面就开始幽默了。作者 Leopold Aschenbrenner 是 OpenAI 的前安全研究员,出于文中的观点认为 OpenAI 应该加强安保措施捅到了董事会,在公司内部得不到响应之后就直接公开了自称只是整理了可公开获取信息的这篇165页文档然后就被炒鱿鱼了。
文档发表于6月6日两周之前,跟上周前美国国家安全局局长加入OpenAI董事会的新闻很难没有联系。
整个文档太长了贴下机翻的简介内容:
您可以在旧金山首先看到未来。

在过去的一年里,城里的话题已经从100亿美元的计算集群转向了1000亿美元的集群,再到万亿美元的集群。每隔六个月,董事会计划上又会增加一个零。在幕后,人们正在激烈争夺剩下的十年里仍然可用的每份电力合同,每个可能被采购的电压变压器。美国的大企业正在准备将数万亿美元投入到美国工业实力长期未见的动员中。到本十年末,美国的电力生产将增长数十个百分点;从宾夕法尼亚州的页岩田地到内华达州的太阳能农场,数以百万计的GPU将嗡鸣。

AGI竞赛已经开始。我们正在构建可以思考和推理的机器。到2025/26年,这些机器将超越许多大学毕业生。到本十年末,它们将比你或我聪明;我们将拥有真正意义上的超级智能。在这个过程中,长达半个世纪未见的国家安全力量将被释放,不久之后,项目将启动。如果我们幸运的话,我们将与东大展开全面竞赛;如果我们不幸的话,将是一场全面战争。

现在每个人都在谈论人工智能,但很少有人对即将发生的事情有丝毫的预感。Nvidia的分析师仍然认为2024年可能接近高峰。主流评论员仍然停留在“它只是预测下一个词”的故意盲目上。他们只看到炒作和一切如常;最多,他们会考虑另一场互联网规模的技术变革。

不久之后,世界将会清醒过来。但现在,也许有几百人,其中大部分在旧金山和人工智能实验室,具有局势意识。通过某种奇特的命运之力,我发现自己身处其中。几年前,这些人被嘲笑为疯子,但他们相信趋势线,这使他们能够准确预测过去几年的人工智能进步。这些人是否对未来几年也正确,还有待观察。但这些人非常聪明——是我见过的最聪明的人——他们正在构建这项技术。也许他们将成为历史上的一个奇怪的脚注,或者也许他们将像Szilard、Oppenheimer和Teller一样载入史册。如果他们对未来的看法接近正确,我们将迎来一场惊心动魄的旅程。

让我告诉您我们看到了什么。

剩下的全文逻辑省流总结如下,可以当科幻小说读读
第一部分:如果大模型技术以现在的趋势发展下去(每年硬件性能提升半个数量级即3倍,算法效率提升半个数量级,加上推理侧方法改进能维持更长时间连贯思考带来的性能提升),我们会在2027年迎来能代替远程上班的程序员和AI研究从业者的强人工智能(AGI)
第二部分:一旦出现能从事AI研究的AGI,技术迭代的周期会极大加快,AI能力会在1年内迎来爆发性增长迅速超越人类,确保AI技术安全的对齐问题可以被解决但前提是西大必须保证遥遥领先
第三部分:东大一旦认识到AGI技术的重要性,就会派人来偷技术的同时大搞基建迎头赶上,所以必须从现在就开始加强实验室安保措施,同时像曼哈顿计划一样举国投入AGI研究,为了避免邪恶的东大毁灭世界必须保证AGI技术先出现在“自由世界”
全文读下来技术部分分析的干货还是挺多的,作者也列举了各种可能使其预测不成立的理由,后面涉及到政治立场的部分就很典了,当然文章的预测是否靠谱没那么重要,重要的是西大军方是不是真被这一套逻辑忽悠住了

回复

使用道具 举报

头像被屏蔽
     
发表于 2024-6-20 12:38 来自手机 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

     
发表于 2024-6-20 12:39 来自手机 | 显示全部楼层
我只想知道,电厂真的能从地里长出来吗?米国是真的掌握了养殖电厂的技术,能在十年末扩充几十个百分数的电力?
不过就算plant真的能像plant一样长出来,他哪来那么多合格的电力工人呢


—— 来自 HUAWEI NOH-AN00, Android 12上的 S1Next-鹅版 v3.0.0.81-alpha
回复

使用道具 举报

     
发表于 2024-6-20 12:39 来自手机 | 显示全部楼层
我只想知道,电厂真的能从地里长出来吗?米国是真的掌握了养殖电厂的技术,能在十年末扩充几十个百分数的电力?
不过就算plant真的能像plant一样长出来,他哪来那么多合格的电力工人呢


—— 来自 HUAWEI NOH-AN00, Android 12上的 S1Next-鹅版 v3.0.0.81-alpha
回复

使用道具 举报

     
发表于 2024-6-20 12:39 来自手机 | 显示全部楼层
写了165页废话,这种人确实该被ai替代

评分

参与人数 1战斗力 +1 收起 理由
jamboo + 1 好评加鹅

查看全部评分

回复

使用道具 举报

发表于 2024-6-20 12:41 来自手机 | 显示全部楼层
通篇写满了“满仓英伟达”
回复

使用道具 举报

头像被屏蔽
     
发表于 2024-6-20 12:55 来自手机 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

     
发表于 2024-6-20 12:59 | 显示全部楼层
本帖最后由 素盏鸣尊 于 2024-6-20 13:03 编辑

这不是推特著名直线哥吗。在人工智能圈里被从南到北嘲笑个遍了。









本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

     
 楼主| 发表于 2024-6-20 13:03 来自手机 | 显示全部楼层
alixsander 发表于 2024-6-20 12:55
从Ilya点赞的The Platonic Representation Hypothesis这篇文章来看

基于transformer的llm是有可能达到知性 ...

GPT4o 走的就是这个路子,把语音模态原生的接进去之后,模型理解情感的能力好像是明显的变强了

Anthropic 搞的用 sparse autoencoder 做的机制解释研究也支持大模型内部确实学到了大量复杂但是大部分还能用自然语言概括出来的语义表征
回复

使用道具 举报

     
发表于 2024-6-20 13:08 | 显示全部楼层
“We are building machines that can think and reason. By 2025/26, these machines will outpace many college graduates. By the end of the decade, they will be smarter than you or I; we will have superintelligence, in the true sense of the word. ”

这段本身就是胡话,现阶段AGI就是把人类制作出来的东西通过概率计算进行即时生成,然后靠算法模型拼接起来

本质是个复读机,它再时髦也只是一台复读机,没有人类产出内容喂给它,这玩意很快就是丧失价值。这还没算AGI本身产出的玩意根本也辨认不出来对或者错,会把红迪的笑话“用胶水把饼和起司粘起来做披萨”当成正经的烹饪指南
回复

使用道具 举报

     
 楼主| 发表于 2024-6-20 13:09 来自手机 | 显示全部楼层
本帖最后由 铃森冬 于 2024-6-20 13:21 编辑
素盏鸣尊 发表于 2024-6-20 12:59
这不是推特著名直线哥吗。在人工智能圈里被从南到北嘲笑个遍了。





原文第二章还有更浮夸的图,有点幽默细胞的

反正我感觉他这个第二部分的论点纯属为了论证后面的新曼哈顿计划的合理性先射箭后画靶子造出来的

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

发表于 2024-6-20 13:12 | 显示全部楼层
快进到山巅之墟,这野狼獾不切片能行?
回复

使用道具 举报

     
发表于 2024-6-20 13:17 来自手机 | 显示全部楼层
1个人造房子要100天,100个人造房子只要一天,1000个人造房子只要2小时
回复

使用道具 举报

     
发表于 2024-6-20 13:38 来自手机 | 显示全部楼层
超级智能出来了,如果它是利他的,第一时间把美西方高层灭了拯救地球,如果它是利己的,第一时间把美西方高层灭了直接统治底层没有中间商。这个人怎么自信到认为自己能管住比自己聪明多的ai的?
回复

使用道具 举报

     
发表于 2024-6-20 14:02 | 显示全部楼层
讲真, 土鳖AI也没落后太多啊. 最近可灵算是压过sora一头了, sora还在发宣传片的时候可灵已经可以申请试用了
回复

使用道具 举报

     
发表于 2024-6-20 14:07 | 显示全部楼层
以目前大模型的竞争情况来看,大模型对比之前的各种cv nlp网络,比起一个科研项目倒更像工程项目了,大家都能攒出能力差不多的底座模型,都能搞出差不多的二次开发,就看算力和语料堆得如何了

鼓吹自己行业的趋势很正常,不过过度线性外推确实是很容易闹笑话的
回复

使用道具 举报

发表于 2024-6-20 14:13 | 显示全部楼层
白笛之音 发表于 2024-6-20 13:17
1个人造房子要100天,100个人造房子只要一天,1000个人造房子只要2小时

按理说搞AI的应该学过并行计算,应该不至于不知道Amdahl‘s Law
回复

使用道具 举报

     
发表于 2024-6-20 14:26 | 显示全部楼层
这个图画的感觉过不了本科毕设答辩

论坛助手,iPhone
回复

使用道具 举报

     
 楼主| 发表于 2024-6-20 14:52 | 显示全部楼层
barry.allen 发表于 2024-6-20 13:08
“We are building machines that can think and reason. By 2025/26, these machines will outpace many c ...

原文中关于这个问题的论点是说基于定理证明器等方法,用强化学习在合成数据上做训练的技术在一到两年内就能攻克,然后大模型就能学会在长上下文中做复杂推理试错的能力,完成更复杂的任务,像AlphaGo自我对弈一样左脚踩右脚摆脱对互联网数据的依赖原地起飞

这个事应该确实包括马斯克在内不少团队都在做,不过一到两年的估计是否过分乐观,以及技术突破之后能对模型的智能程度有多大提升就见仁见智了
回复

使用道具 举报

     
发表于 2024-6-20 15:36 | 显示全部楼层
借楼问问text2sql 有好用的ai了嘛
回复

使用道具 举报

     
发表于 2024-6-20 15:41 来自手机 | 显示全部楼层
对于普通用户来说,越不了解GPT越不使用GPT,越觉得GPT牛逼

真的用过就知道他的局限性了

—— 来自 鹅球 v3.0.86-alpha
回复

使用道具 举报

头像被屏蔽
     
发表于 2024-6-20 15:45 来自手机 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

     
发表于 2024-6-20 16:08 | 显示全部楼层
一个不证自明的基本公理:这个世界毕竟是运行在物理层面上的。
回复

使用道具 举报

     
发表于 2024-6-20 16:44 | 显示全部楼层
2027?2072 都是神速了,还是 2207 吧
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|上海互联网违法和不良信息举报中心|网上有害信息举报专区|962110 反电信诈骗|举报电话 021-62035905|Stage1st ( 沪ICP备13020230号-1|沪公网安备 31010702007642号 )

GMT+8, 2024-9-23 14:32 , Processed in 0.101563 second(s), 8 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表