百万年薪抢毕业生？大厂打响AI人才战

ZekNagPul

zoex 发表于 2024-8-14 16:09
AGI成不了，transformer只能通向伪AGI。信AGI的要么没入行要么利益相关，要有自己的底层理解，这对学术水 ...

什么是AGI什么是伪AGI，为什么transformer只能实现伪AGI

是transformer非图灵完备，还是缺少持续学习能力？

或者说AGI与否根本不重要，我只关心技术是否可以实现自我加速，乃至完全自我迭代。

至于杨立坤，可能只是meta之前不是第一个搞出来的，Illya还说他只是酸…现在他的论调也是AGI is inevitable不是么。无非他认为不是LLM

ZekNagPul

wszweill 发表于 2024-8-14 14:14
单纯指老师的话，有强大自制力到用AGI提升自己，那八成用不上教培
就算没有AGI，现在各种教学资源那么丰富 ...

洗牌不等于完全不需要，批评下填鸭教育能跳起来，甚至认为自主学习能力是填鸭教育获得的，说什么好呢。就当你们可能都是利益相关，一叶障目了吧。

多模态模型这么强大的工具，足够大家重新思考什么是真正的学习，什么是真正的知识。什么是作为社会成员所必须掌握的技能。

比如，外语是否还有那么高的权重，是否可以仅仅作为个人兴趣。 教学模式是否还应该是上课背诵知识点？还是可以更早的把项目/任务驱动的学习引入学校教育。在有这类工具前，是没有那么高知识水平的教师充分配置给每个学生的，现在可能了，并且拥有无限的耐心和时间。

https://youtu.be/9pIuWFRokp0?si=j2BW51j5IzZWXnz6

soliz

ZekNagPul 发表于 2024-8-14 16:53
什么是AGI什么是伪AGI，为什么transformer只能实现伪AGI

是transformer非图灵完备，还是缺少持续学习能 ...

Transformer能不能实现AGI这个问题是真的有待商榷的
去年有篇论文：Faith and Fate: Limits of Transformers on Compositionality的研究非常有意思，发现即使经过巨量训练以后Transformer结构依然在某些问题上难以正确回答，典型的就是多位数乘法和动态规划
这两种问题的共性就是硬性要求一定长度的推理链，比如乘法你必须算完后一位进位才能算对前一位结果
有一种假设是Transformer结构每一层其实都是在做特征的近线性组合（只不过特征的数量可能非常多），所以遇到这种硬性的长推理链就容易翻车
当然现在可以通过agent调用tool的方式绕过这些问题，但推理上限的隐患总归存在

—— 来自 鹅球 v3.0.85-alpha

soliz

模型可解释性这一块上Claude的公司Anthropic有很多研究，近两年出的两篇：
Toy Models of Superposition
Scaling Monosemanticity
都对大模型的工作原理做了一些分析，如果真的和分析提出的假设一样，大模型是在做巨量特征间的线性组合的话，大模型的能力就是有天花板的——而现在就是看能不能用agent这些方式绕过这个天花板了

—— 来自 鹅球 v3.0.85-alpha

kyomu

引起这轮热潮的 OpenAI 现状也谈不上多好，画饼有点画不动了

论坛助手,iPhone

zoex

soliz 发表于 2024-8-14 17:08
Transformer能不能实现AGI这个问题是真的有待商榷的
去年有篇论文：Faith and Fate: Limits of Transform ...

LLM信徒只会跟你说模型还不够大，数据还不够多，只要能自我迭代就能AGI，反正经济性全部无视。太对了，只要任意两个数乘法的结果都在训练数据里它就学会乘法了
现在就是个收益递减的军备竞赛哪个大厂不知道？靠LLM做AGI无异于造99.99%光速的飞船

理性来讲的话，最后会从经济上找到一个相对平衡点，而目前比较难评估它在哪

otaku21126

只要给AI体罚权和体罚人类的能力，其实目前AI前景下发展出的东西确实能代替老师
说到底，老师乃至父母之所以能训练未成年人掌握复杂技能和复杂认知，靠的还是人对痛苦和死亡的天然恐惧。
比起抽象的跳楼会死、摸电门会死，真正让人记住“不应当这么做”的脑扳机其实还是“如果有这么做的预兆，眼前这个强壮的动物将会让我剧烈疼痛”
如果允许AI能给予未成年人疼痛，那原则上现在AI就能从事教育行业了


当然，我们都知道，允许“AI依照其判断可以自由体罚人类”将会是划时代意义的决定，所以一时半会这个问题还解决不了

gammatau

ZekNagPul 发表于 2024-8-14 16:53
什么是AGI什么是伪AGI，为什么transformer只能实现伪AGI

是transformer非图灵完备，还是缺少持续学习能 ...

图灵完备，能持续学习，你自信这就AGI了？

wszweill

ZekNagPul 发表于 2024-8-14 04:04
洗牌不等于完全不需要，批评下填鸭教育能跳起来，甚至认为自主学习能力是填鸭教育获得的，说什么好呢。就 ...

?你回错了吧。我啥时候说过填鸭教育。话说都2024年了，填鸭是不是有点out。
你这说话突出一个不接地气。不说别的，就最近姜圣事件中爆出的中专生数学水平，那是缺乏名师嘛，人家数学老师也是正经学数学的呀，结果装天才少女都装不明白 90%以上义务教育需要教培的人，到底是真心求学，缺乏名师，还是由于种种原因压根没心思学，被家长按头交教育赎罪券。教培的服务对象从来都是焦虑的家长，而不是学生；而家长需要的是把孩子扔进一个学习环境中自我安慰，而不是盯着孩子跟AGI自主学习。那么省心的孩子不卷竞赛要啥教培（

你说的那种情况，只属于部分菜小菜中的内卷尖子生，数来数去能有多少个。建议去B站多看看奇葩中小学生作业，心思散漫到四则运算和基本背诵都搞不明白的，你上AGI有啥用 你自己说说每天多长时间用AGI提升自己，多长时间刷论坛嘛，小孩子只会更难