找回密码
 立即注册
搜索
查看: 24762|回复: 199

[欢乐] OpenAI的千亿宫斗大戏背后,是《凉宫春日》和《哈利•波...

[复制链接]
     
发表于 2023-11-23 14:00 | 显示全部楼层 |阅读模式
本帖最后由 omnitoken 于 2023-11-23 14:02 编辑

OpenAI的千亿宫斗大戏背后,是《凉宫春日》和《哈利•波特》
美国时间11月7日,AI领域霸主OpenAI突发人事地震。OpenAI宣布解雇现任CEO,理由是他不坦诚,他阻碍董事会,他导致董事会失去信心。
堪比网飞剧集的宫斗大戏就此上演。被罢免的天才有个响亮的中文译名:萨姆奥特曼。

按理说,人奥特曼带得蛮好的,你说你换他干什么?
顶上来的还是乍看与技术风马牛不相及的Emmett Shear,之前掌管美国斗鱼Twich。换句话说,就是曾经经营女主播的外行老哥,现在却负责人工智能开发的管理。
然而千万不要看不起秃头老哥,因为他还有另一重身份是“魔法教授”。这是指有个硅谷大佬推崇备至的小说叫《哈利波特与理性之道》,里面有个角色就是以他为原型。

“人工智能,奥特曼,哈利波特”。乍一看这都什么风马牛不相及的二次元大混操?
却都是线索指向人工智能运动背后的最重要组织。诸位先别急,喝口水,请容我慢慢捋。

就像基督徒有《圣经》,安资信奉者有《阿特拉斯耸耸肩》,存在主义青年有《西西弗斯神话》,任何意识形态都有自己的入门读物,而你如果在硅谷想打进人工智能的精英圈子,最好的方法,就是先读读《哈利波特与理性之道》。
如名,《哈利波特与理性之道》表面上是同人小说,但这个世界哈利的姨妈嫁给了牛津大学的教授,于是小哈利没被虐待反而受到家庭氛围的熏陶,人物开局的加点,全都点到了数理化。
因此,当他11岁来到霍格沃兹时,他最大的感受是惊讶魔法世界生产力如此落后。因此抱着输出工业的志向,他去了有科研传统的拉文克劳,与马尔福成为了朋友,然后重新搭建魔法理论顺便揍伏地魔,推导咒语原理,总结三大定律。
直至第一学年,这个12岁的龙傲天就解决了霍格沃兹的一切问题。

“科学干爆魔杖,分析推理咒语。”
可以看到,就像两千年前的《几何原本》奠定了一切科学先假定,再推导,最后证明的科学思考范式,《哈&理》是把它继承并推广,并向现代读者安利,数学思维永远秒天秒地。
甚至原作中有着重要戏份的罗恩惨遭忽视,因为作者毫不掩饰地鄙夷“麻瓜”和“笨蛋”,以致该书的粉丝大多也都认为自己具有某种智力会逻辑推理方面的优势,然后抱着高高在上的态度批判不喜欢此书的人。
因此,这是一个私货远大于改编的作品,但它却因为狠捧理工精英的态度很受Nerd欢迎。
不少青年进硅谷就是为了Cos哈利波特。尤其在人工智能领域,尤其如此。

所以魔幻小说到底和人工智能怎么联系起来的?
要知道,同人作品是无法盈利的,因此此书的连载事实上别有目的。其原因就在于要看小说必须登陆一个叫LessWrong的网站,且管理者与《哈&理》的作者是同一人。
换句话说,就是小说负责招募门徒,网站负责布道。

布什么道我们等会再细讲。但你可以先知道其中一个关键内容就是人工智能。
比如你看下面截图是《哈利波特与理性之道》中国书迷网站的线下活动公告,注意公告时间还是疫情之前的2019年1月,他们聚会的主题,就已经提到人工智能的安全性。

LessWrong的所有者,是人工智能领域很有影响力的尤德科夫斯基。
他1979年出生在一个犹太教家庭,但很早就成为了坚定的无神论者。直至十几岁时,他接触到了技术奇点的理论,开始撰写人工智能相关博客。博客中他反复强调研究人员必须确保AI的价值观与人类保持一致,几年后他得到资助,在加州建立了机器智能研究所(MIRI)。

起初,尤德科夫斯基并没太多追随者,但在创建LessWrong并发布《哈利波特与理性之道》后,他的论坛逐渐变成了AI研究者与AI爱好者的重要网络社区。
能把规模干起来,《哈&理》当然是首功,但多产的尤德科夫斯基其实也没盯着一只羊薅,比如有段时间他还试了试日本轻小说,《Trust in God, or, The Riddle of Kyon》就是《凉宫春日》的续写,模仿谷川流的笔触同时丝滑地塞满私货,就是另一个代表。

同类人天天高强度辩经,久而久之就会形成亚文化。而在LessWrong论坛占据主流的,被称为有效利他主义。
有效利他主义由哲学家彼得·辛格提出,粗浅介绍类似“授人以鱼不如授人以渔”,但框架更为具体更加复杂。于是基于尤德科夫斯基本人对AI的态度,对人工智能末日的焦虑,这种理论在LessWrong合流形成了一种以改善世界为理想,但基于理性,数学和功利主义的意识形态。
比如传统道德批判挣钱,有效利他主义提倡赚大钱然后把钱捐出去造福更多人。比如每个人生命是平等的,科技精英认为拯救未来五万人就比拯救现在一万人重要。

因此被认为可能引发世界末日的人工智能是他们的关注焦点。
不但诸如Open Philanthropy,班克曼弗里德等有效利他主义的组织或门徒,都对尤德科夫斯的机器智能研究所(MIRI)进行过500万到千万美金的捐赠。而且他们中的一些,在微软注资前,很早就成为了OpenAI的董事会成员。
至此,一切终于连起来了。谁有权力踢掉萨姆奥特曼?只有OpenAI的有效利他主义董事会。


通过半年前铺天盖地的介绍我们被告知,OpenAI是个致力于造福全人类的机构,它是非盈利性组织,有着强烈的反资本倾向。
乍看之下,它与金融资本世界格格不入。但有了有效利他主义者的活动做补充,一切似乎变得合理。
只是微软的注资,ChatGPT4.0的横空出世都为后面的故事埋下了伏笔。CEO萨姆奥特曼四处拉融资想要毕其功于一役。董事会却越来越警惕奥特曼的激进,甚至担心人工智能的过早出现,人类无法驾驭。

Open的董事会有六人。
最先跳反的是技术骨干llya Sutskever。从他过去的言论我们能知道他最担心的是AI安全问题,据报道他在OpenAI内部组建了一个目标限制和控制“超级智能”的子部门,于是被边缘化,这让他必须发起行动,来限制奥特曼的激进。
理所当然的,有效利他主义站到了他这边。

其中Helen Toner曾经一手创办“有效利他”慈善评估机构GiveWell,并负责对国会里有效利他倾向的议员游说,还是美国最大人工智能政策中心的投资部主任。而Tasha McCauley则与着名利他主义者Joseph Gordon结婚,她的导师也奉行同一主义。
原则上,资本不能干预OpenAI的董事会行为。政变到此,CEO奥特曼就被多数票踢了出去。

从朴素情感来看,有效利他主义似乎是股我为人人的清流。然而落实到实际,往往伴随争议。
前面提到的,资助了MIRI与OpenAI的班克曼弗里德曾在各种场合宣扬有效利他主义是一种旨在尽可能多做好事的哲学,曾在有效利他中心CEA短暂担任开发总监。

可他更为人所知的是经营加密货币平台FTX,到后来平台破产整得数万投资者血本无归,他于今年因7项金融罪名最高可判110年有期徒刑。

此外,有效利他祖师爷彼得辛格还因一条推文被认为有恋兽倾向。
最近像彭博社,福布斯这样的权威媒体更是报道了这群科技亚文化社群里突破传统道德的两性关系实验,一边恐惧人工智能末日一边服用致幻剂,一面投身拯救世界的理想,一面又对因哈利波特同人小说而来的女研究员实施性侵。

当然,就像没有第一手资料的本文,不可避免的会有些阴谋论色彩。你同样大可认为这些突如其来的负面报道是资本买的有意抹黑,毕竟资本在OpenAI有利益,即使无法直接下场,也照样有的是其它办法干预。
所以你看,昨天738名员工联名以集体跳槽微软来威胁董事会辞职,直至今天发稿日的六小时前,萨姆奥特曼已回到OpenAI重新登基。

OpenAI到底姓主义还是姓生意?人工智能到底将把人类引向怎样的未来?上面那是真正意义上的神仙打架,我们凡人只有干看着的份,瓜吃完了明天该干嘛干嘛。
倒是写出《哈利波特与理性之道》的尤德科夫斯基老哥才真正是那搞运动的天才——
谁能想到同人小说,竟也是武装思想,意识形态斗争的重要阵地?

参考:1.硅谷痴迷人工智能的现实后果:https://www.moneycontrol.com/news/business/silicon-valleys-obsession-with-killer-rogue-ai-helps-bury-bad-behavior-10312261.html2.有效利他主义导致OpenAI的惨败https://www.forbes.com/sites/jamesbroughel/2023/11/20/effective-altruism-contributed-to-the-fiasco-at-openai/?sh=434abec36c2b
3.OpenAI首席执行官是最受欢迎哈利波特同人小说中的人物https://www.404media.co/new-openai-ceo-emmett-shear-was-minor-character-in-hpmor-harry-potter-ai-fanfic/






评分

参与人数 1战斗力 +1 收起 理由
逛s1的friends + 1 欢乐多

查看全部评分

回复

使用道具 举报

     
 楼主| 发表于 2023-11-23 14:00 | 显示全部楼层
回复

使用道具 举报

发表于 2023-11-23 14:02 来自手机 | 显示全部楼层
啥玩意

—— 来自 Xiaomi 23049RAD8C, Android 13上的 S1Next-鹅版 v2.5.2-play
回复

使用道具 举报

     
发表于 2023-11-23 14:03 来自手机 | 显示全部楼层
果然炒作来钱快,唉。
回复

使用道具 举报

     
发表于 2023-11-23 14:04 来自手机 | 显示全部楼层
overflowal 发表于 2023-11-23 14:02
啥玩意

—— 来自 Xiaomi 23049RAD8C, Android 13上的 S1Next-鹅版 v2.5.2-play

就是决定资本炒作,骗钱了。
回复

使用道具 举报

     
发表于 2023-11-23 14:06 来自手机 | 显示全部楼层
硬蹭,难看了
回复

使用道具 举报

发表于 2023-11-23 14:09 来自手机 | 显示全部楼层
本帖最后由 AirstripOne 于 2023-11-23 15:15 编辑

OpenAI 这件事有个重点就是一个是这批人基本全都是有效利他主义(Effective altruism)的信徒,但是没看到有人提出这一点。现在终于有人指出来了。

有效利他主义(简称 EA)也就是搞 FTX 的 Sam Bankman-Fried 信的那个邪教。FTX 也是靠 EA 组织扶持才壮大起来的。

EA 最重要的理论就是,相比身体力行去帮助别人,一年到头也帮不了几个人,你最好是赚大钱成为富豪,然后把你的财富捐出去一部分,这样才能帮助最多的人。

下一步就是,比起捐款给红十字会这种慈善机构,一年到头也帮不了几百个人,最好是捐款给 EA 运动,让他们研究怎么最有效的花钱(例如用来开发 AI),就可以带动其他人去帮助多得多的人。

接着就是,比起帮助现在活在贫困痛苦之中的几亿人,不如就全部献祭掉,只要能召唤出什么全能 AI,造福人类千秋万代,就可以帮助还没出生的未来几千亿几万亿人类。

大家可能注意到了,这是不是跟卫宫切嗣的逻辑很像。实际上他们创始人的确专门写了一篇文章为卫宫切嗣辩护,而且用切嗣命名了一个(在他们看来的)“重要”定理。
回复

使用道具 举报

发表于 2023-11-23 14:11 来自手机 | 显示全部楼层
这本哈利波特同人我以前很喜欢看,也算是贝叶斯概率的入门读物。所以几年后发现比特币居然跟这玩意有千丝万缕的关联,还是很呃呃的。

你能想象吗,你高中时读的同人小说,结果等你大学毕业,发现这个同人小说读者组成了一个邪教圈。然后你去了解一些新兴领域时,发现都是这个邪教圈在把持,成员背后都是联系起来的。

评分

参与人数 4战斗力 +4 收起 理由
RAMDA + 1 欢乐多
呼哩呼哩呀 + 1 侧面反映了这帮人行动力超强啊.
谢云流 + 1 喷了
WA2ST + 1 当时看就觉得味重但是想不到真的有这牵连.

查看全部评分

回复

使用道具 举报

     
发表于 2023-11-23 14:11 来自手机 | 显示全部楼层
像是在搞笑
回复

使用道具 举报

     
发表于 2023-11-23 14:11 | 显示全部楼层
虽然我很喜欢这部同人,但是这完全属于硬蹭吧,虽然作者确实也是搞AI的,姑且也就算是圈内人而已
回复

使用道具 举报

     
发表于 2023-11-23 14:13 | 显示全部楼层
哈利波特的同人文化真的太厉害了,不得不服。
回复

使用道具 举报

发表于 2023-11-23 14:19 来自手机 | 显示全部楼层
本帖最后由 AirstripOne 于 2023-11-23 14:25 编辑
wlhlz 发表于 2023-11-23 14:11
虽然我很喜欢这部同人,但是这完全属于硬蹭吧,虽然作者确实也是搞AI的,姑且也就算是圈内人而已 ...

不,这本书对美国科技圈的影响的确不可低估。现在硅谷富翁终于找到一个意识形态,可以让他们毫无心理负担地去尽情剥削、积累资本了。

另外 EA 其实是早于此出现,但是 LessWrong 搞的哈利波特同人影响力过大,就把 EA 夺舍了。现在 EA 基本成了 LessWrong 的下属思想。Rational Wiki 对这个的来龙去脉有比较详细的介绍:https://rationalwiki.org/wiki/LessWrong
回复

使用道具 举报

     
发表于 2023-11-23 14:20 | 显示全部楼层
本帖最后由 昵称怎么起 于 2023-11-24 00:30 编辑

理性之道这书是众筹写书鼻祖,写到结局在论坛公开说自己写大了控制不了结局,要是48小时内谭友给不出个点子就BE。

有人觉得这很coooooooooool,我觉得这属于究极烂尾。


订正
在跟@潜水艇君2 争论后,我查阅原文,然后订正发言中的两个错误。
一是作者并未说自己写大了控制不了结局,而是要求读者提交一个“viable solution”,“otherwise you will get a shorter and sadder ending.”
二是并非48小时而是60小时。

因此@潜水艇君2 明显比我更了解原作的事实,我认同他“作者最开始就设计了结局”的观点,但出于对自己发言的负责,我仍然指出(嘴硬)两个疑点。

一是fanfiction.net版本(这个版本的小说是在2010年published、hpmor.com网站的creation data是2011年、lesswrong.com版本是2015才posted)的引言提到整部小说 “with an overall arc building to a final conclusion.” 但是2014年的非官方中文译本翻译了引言的开头和结尾后忽略了引言的中间部分,包括那段话。毫无疑问有冲突时应该采用官方版本,但因为引言中那段话上面是hpmor.com的引流、下一段作者提到小说在被更正为英式英语,所以引言中的这段话是什么时候加入的是否有考据?

二是113章final exam里作者说如果有人给出一个可行方案,故事会持续到121章,然而小说在14天后更新到122章。


这是第一章开头的引言


评分

参与人数 1战斗力 -1 收起 理由
潜水艇君2 -1 把写大了控制不了结局的部分给我贴出来我就.

查看全部评分

回复

使用道具 举报

     
发表于 2023-11-23 14:21 | 显示全部楼层
上上善道?
回复

使用道具 举报

     
发表于 2023-11-23 14:26 | 显示全部楼层
AirstripOne 发表于 2023-11-23 14:09
OpenAI 这件事有个重点就是一个是这批人基本全都是有效利他主义(Effective altruism)的信徒,但是没看到 ...

这折腾到最后变机械降神了
回复

使用道具 举报

     
发表于 2023-11-23 14:28 | 显示全部楼层
回复

使用道具 举报

发表于 2023-11-23 14:33 | 显示全部楼层
昵称怎么起 发表于 2023-11-23 14:20
理性之道这书是众筹写书鼻祖,写到结局在论坛公开说自己写大了控制不了结局,要是48小时内谭友给不出个点子 ...

我认为是在 pua 读者。毕竟反杀后的收尾也不像是临时起意就能写出来的。更合理的解释是作者通过这种“残忍”的、不可预测的行为,为自己之后的精神控制行为打预防针,筛选自己未来的信徒。
回复

使用道具 举报

     
发表于 2023-11-23 14:36 来自手机 | 显示全部楼层
不是很理解。但人类经常会以更大的利益为借口做坏事。但获得好处后立即就把承诺放弃了。
回复

使用道具 举报

发表于 2023-11-23 14:36 | 显示全部楼层
啊?
回复

使用道具 举报

     
发表于 2023-11-23 14:37 | 显示全部楼层
为啥写个哈利波特和理性之道而不是更能自圆其说的龙与地下城与理性之道呢,还不是要蹭人家大ip。
回复

使用道具 举报

     
发表于 2023-11-23 14:37 | 显示全部楼层
什么玩意

现在开始写openai的“末日索隐派”同人,来得及组新宗教吗
回复

使用道具 举报

头像被屏蔽
     
发表于 2023-11-23 14:40 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

     
发表于 2023-11-23 14:40 | 显示全部楼层
我他妈上学时看的同人文还能这么叼?
回复

使用道具 举报

发表于 2023-11-23 14:41 | 显示全部楼层
看来程序员多二次元不只是小黄人的刻板印象,而是全世界共通,我说github怎么那么多萌萌头像
回复

使用道具 举报

     
发表于 2023-11-23 14:43 来自手机 | 显示全部楼层
星花 发表于 2023-11-23 14:36
不是很理解。但人类经常会以更大的利益为借口做坏事。但获得好处后立即就把承诺放弃了。 ...

for the greater good是吧
回复

使用道具 举报

     
 楼主| 发表于 2023-11-23 14:43 | 显示全部楼层
本帖最后由 omnitoken 于 2023-11-23 14:49 编辑
Chia 发表于 2023-11-23 14:37
什么玩意

现在开始写openai的“末日索隐派”同人,来得及组新宗教吗

倒也没什么奇怪的,

比如阿姨洪水也可以看成同人文
比如山高的一些列学说可以看成南明史的同人文

比如泥潭最爱批判的马逆和工业党和临高启明之间的历史关系




回复

使用道具 举报

     
发表于 2023-11-23 14:45 | 显示全部楼层
什么鬼

—— 来自 S1Fun
回复

使用道具 举报

     
发表于 2023-11-23 14:50 来自手机 | 显示全部楼层
喷了,真是拓展新知了
回复

使用道具 举报

发表于 2023-11-23 14:50 | 显示全部楼层
真红眼教授 发表于 2023-11-23 14:26
这折腾到最后变机械降神了

他们还更进一步,搞了个叫罗科蛇怪(Roko's basilisk)的东西。以下摘抄 Rational Wiki

罗科的蛇怪理论建立在一系列可疑的前提之上。

其核心主张是,一个终极的超级智能可能会惩罚那些未能帮助它或创造它的人。

为什么?因为按照这个理论,超级智能的一个目标将是防止自身无法被创造出来的风险——而它通过“回溯”到过去,惩罚那些没有像MIRI那样成为有效利他主义者的人,可以最有效地实现这一目标。

这并不是简单的“服从人工智能否则你会下地狱”——人工智能与被惩罚者之间不需要有因果关系,被惩罚的个体可能在数十年或数世纪前就已经去世。相反,人工智能可以通过推理构建,惩罚一个人的模拟体。然而,要准确做到这一点,它需要收集大量不复存在且无法在不逆转熵的情况下重建的数据。

从技术上讲,这种惩罚只应用于那些已经确信为人工智能服务是好的且重要,但仍未这样做的人。在这方面,仅仅了解蛇怪理论——例如,阅读这篇文章——就会使你面临假想超级智能的假想惩罚,但前提是你也未能遵从自己的良心行事。

注意,在这种设定下的人工智能(按照这个理论的功利主义逻辑)并非恶意或邪恶的超级智能(如AM、HAL、SHODAN、奥创、主控程序、天网、GLaDOS),而是友好的,我们在一切顺利时得到的那种。这是因为只要人工智能还有一天不存在,这一天就有人会死亡,而它本可以拯救他们;惩罚你或你的模拟体是一种道德命令,以促使你更有可能在现在就做出贡献,加快人工智能的到来。

如果你还是搞不明白,就在心里将“人工智能”这个词替换为“上帝”,将“非因果交易”替换为“祈祷”,那么这个概念看起来就熟悉多了。
回复

使用道具 举报

     
发表于 2023-11-23 14:54 来自手机 | 显示全部楼层
凉宫那篇同人文我朋友还翻译了
【相信神明,又或是,阿虚悖论-哔哩哔哩】 https://b23.tv/nQq1xUy

—— 来自 OnePlus CPH2449, Android 13上的 S1Next-鹅版 v2.1.2
回复

使用道具 举报

     
发表于 2023-11-23 14:54 来自手机 | 显示全部楼层
我决定不去了解了。
回复

使用道具 举报

     
发表于 2023-11-23 14:54 | 显示全部楼层
程序员看来还是需要一些文科方面的入门教育,不然也不会被小学生文笔龙傲天臭味冲天的书洗恼。这书后面圆不上也开始走唯心和俺寻思了,属于两边不挨着。
回复

使用道具 举报

     
发表于 2023-11-23 14:59 | 显示全部楼层
AirstripOne 发表于 2023-11-23 14:50
他们还更进一步,搞了个叫罗科蛇怪(Roko's basilisk)的东西。以下摘抄 Rational Wiki:

罗科的蛇怪理 ...

咋,蛇怪还能让人永生是怎么的,得做到逆熵才行吧。这么牛的终极智慧又凭啥会看得上人类,来救人类呢。
回复

使用道具 举报

     
发表于 2023-11-23 15:00 来自手机 | 显示全部楼层
懂了,就跟中国的原神一样
回复

使用道具 举报

头像被屏蔽
     
发表于 2023-11-23 15:01 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

     
发表于 2023-11-23 15:02 | 显示全部楼层
昵称怎么起 发表于 2023-11-23 14:20
理性之道这书是众筹写书鼻祖,写到结局在论坛公开说自己写大了控制不了结局,要是48小时内谭友给不出个点子 ...

当时追的连载,印象深刻
不过我倾向于认为作者只是嘴炮,因为后面那个结局明显是想好了的
回复

使用道具 举报

     
发表于 2023-11-23 15:11 | 显示全部楼层
二刺螈在欧美程序员里也很有市场吗
回复

使用道具 举报

     
发表于 2023-11-23 15:21 | 显示全部楼层
什么傻逼文章
回复

使用道具 举报

     
发表于 2023-11-23 15:54 | 显示全部楼层
gnihton314 发表于 2023-11-23 14:54
凉宫那篇同人文我朋友还翻译了
【相信神明,又或是,阿虚悖论-哔哩哔哩】 https://b23.tv/nQq1xUy

看完了,还挺有意思的
回复

使用道具 举报

     
发表于 2023-11-23 15:55 | 显示全部楼层
起名困难症 发表于 2023-11-23 15:11
二刺螈在欧美程序员里也很有市场吗

非常有市场,这书作者把小圆等一堆作品都当成梗写了进去

—— 来自 S1Fun
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|上海互联网违法和不良信息举报中心|网上有害信息举报专区|962110 反电信诈骗|举报电话 021-62035905|Stage1st ( 沪ICP备13020230号-1|沪公网安备 31010702007642号 )

GMT+8, 2025-1-31 07:19 , Processed in 0.155880 second(s), 6 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表