遭遇逆转诅咒，大模型可能根本不存在语言泛化能力

stadium · 发表于 2023-9-24 12:44

pgain2004 发表于 2023-9-23 20:41
过于弱智，这不会是个AI号吧？

虽然模型出问题的好像不是在他认为的信息不足这点上，不过从集合映射的角度看他想表达的也能理解，但放到日常对话上就钻牛角尖了，类似平时说话不能犯一点语法错误。

Falcomfans · 发表于 2023-9-24 12:50

提示: 作者被禁止或删除内容自动屏蔽

Pz079 · 发表于 2023-9-24 12:53

aaabbbccc__ 发表于 2023-9-23 22:18
但可以推出b是a的妈妈， b为女性的话。非100+性别的地区适用

A是B的自然表述需要大量的其他信息做支撑。在缺乏现实信息的情况下，这对关系中还需要定义，什么是母亲，什么是孩子，母亲和孩子的生理学关系和法律关系
华盛顿是第一届美国总统的全部信息需要逼近10岁级别的社会经验和知识。
华盛顿是什么，什么是美国，什么是总统，什么是第一届，你甚至需要初步理解美国的国体，政体
换一个很简单的说法，投行界乱七八糟的头衔无法对应其他人的基本认识，你会看到“张大三是甲投行的执行董事”，执行董事在一般公司应该就是唯一那个主要负责人，但在投行只是个员工职级，你不具备背景知识根本无法回答逆转问题

jojog · 发表于 2023-9-24 12:54

所以我觉得反AI其实有时候挺能理解的，归根到底很多AI的研究者的思路差不多已经接近万机神了

AI不行→ 人类也不行 → 人类还不如AI呢 →所以AI行，要人类有个P用

自打有人说RLHF学习AI效率比人类高那会其实就有这个倾向了，迟早挨砸

gammatau · 发表于 2023-9-24 13:08

Pz079 发表于 2023-9-24 12:53
A是B的自然表述需要大量的其他信息做支撑。在缺乏现实信息的情况下，这对关系中还需要定义，什么是母亲， ...

狗屁，a是b妈妈 b是a孩子，这有你说的特殊语境问题吗

gpt要是学了几个T的自然语料还搞不明白这种用词关联性，那也别梦想这个模型能提炼什么知识了

acejoe · 发表于 2023-9-24 13:50

毒菇发表于 2023-9-23 19:35
自然语言的“A是B的孩子”其实数学上是A∈{B的孩子}，当然不能推出B的孩子就一定是A ...

b的孩子不一定是a……但是b一定是a的妈。
这就不是数学上的概念，这是反过来说，名词都换了，妈和孩子，数学上都是围绕孩子一个词。

acejoe · 发表于 2023-9-24 13:52

诶呦我去这是哪发表于 2023-9-23 19:47
是啊，但是如果我有兄弟姐妹的话，我妈的孩子不一定是我

不过想想也正常，前两天手机圈大战的时候说KTV ...

懂一半别装懂了，数学上两个形容都是围绕孩子，所以反过来有逻辑问题。
正说反说一个是孩子，一个是妈，两种说法，a是b的孩子，那b一定是a的妈。

Pz079 · 发表于 2023-9-24 13:57

本帖最后由 Pz079 于 2023-9-24 14:01 编辑

gammatau 发表于 2023-9-24 13:08
狗屁，a是b妈妈 b是a孩子，这有你说的特殊语境问题吗

gpt要是学了几个T的自然语料还搞不明白这种用词关 ...

如果你提不出前面已经被别人表述过很多次的意见之外的其他看法，就不要再回复了，浪费时间

双面人 · 发表于 2023-9-24 14:06

诶呦我去这是哪发表于 2023-9-23 19:15
等于，你可以理解成0.999写多长也无法真正表达成无限循环，差的那一点点刚好就可以补足成1
0.333的循环等 ...

是也不是，如是，就很厉害，你知道吧

gammatau · 发表于 2023-9-24 14:14

Pz079 发表于 2023-9-24 13:57
如果你提不出前面已经被别人表述过很多次的意见之外的其他看法，就不要再回复了，浪费时间 ...

你和这楼前面一群人一样，一百多层，还连gpt学习的对象是词不是逻辑符号都没搞明白，自以为聪明地讨论a->b 非b->非a什么的逻辑命题才是真搞笑

你不需要我给你什么额外新看法，而是把擅自强加给gpt的那些看法都扔掉。

Pz079 · 发表于 2023-9-24 14:24

gammatau 发表于 2023-9-24 14:14
你和这楼前面一群人一样，一百多层，还连gpt学习的对象是词不是逻辑符号都没搞明白，自以为聪明地讨论a-> ...

stadium · 发表于 2023-9-24 17:47

acejoe 发表于 2023-9-24 13:52
懂一半别装懂了，数学上两个形容都是围绕孩子，所以反过来有逻辑问题。
正说反说一个是孩子，一个是妈， ...

主楼的话也是只有华盛顿和美国第一任总统这一种说法，后面有人发了更具体的内容里面有一部分是关于明星妈妈和孩子两种说法的。

不过就原来连加法都一直做不对的情况来看，希望语言模型可以同样通过力大飞砖来产生类似逻辑的表现可能是很难实现的。

冰寒之月 · 发表于 2023-9-24 17:57

如将红莲发表于 2023-9-23 19:17
狗叔是S1网友，请问，S1网友是不是就是狗叔？
集合大小可能不一样当然不能这么推，只能说
“他不是S1网友 ...

是这个词有两层含义一个是完全等价= 一个是后者包含前者∈

革萌 · 发表于 2023-9-24 17:58

原来我说过这件事，目前的模型不能做到用（亲戚的称呼规则）+（某部小说）得到这部小说中人物彼此是什么亲戚关系
模型能够解答这个问题，需要训练材料中包括《某部小说人物关系考证》这类的文献，而且需要不少。

千代 · 发表于 2023-9-24 19:35

AI能通过图灵测试的原因是因为人类的智力实在太糟糕了

—— 来自 HUAWEI OCE-AN50, Android 12上的 S1Next-鹅版 v2.5.4

烽火连云 · 发表于 2023-9-25 07:51

语义逻辑理论没研究透。人类对自我的认识还差的很远。

pf67 · 发表于 2023-9-30 21:44

transformer+位置编码，从原理上看本来也就能能梳理清楚当前的上下文关系而不是能有逻辑推理能力啊。
当前的大模型能展示出逻辑能力都是个“意外”，根据OpenAI的研究员说的可能是因为学了代码才具备的，但是从算法原理上是摸不清的。

greataxe_02 · 发表于 2023-10-1 17:06

诶呦我去这是哪发表于 2023-9-23 19:12
因为李四的孩子不一定是张三啊，说不定他还有个兄弟交张四，并不能完全反推
如果他输入的是李四有且只有 ...

你的母亲是A，但你不一定是A的孩子对吗？
有基本的逻辑能力吗？

greataxe_02 · 发表于 2023-10-1 17:09

毒菇发表于 2023-9-23 19:35
自然语言的“A是B的孩子”其实数学上是A∈{B的孩子}，当然不能推出B的孩子就一定是A ...

看题了吗？A是B的母亲，不能推出B是A的孩子？

		自动登录	找回密码
密码			立即注册

[欢乐] 遭遇逆转诅咒，大模型可能根本不存在语言泛化能力

评分

Falcomfans Falcomfans 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2004-1-22 头像被屏蔽	发表于 2023-9-24 12:50 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报