大模型如何工作仍然是个谜团

玉米黍

对数字、外形的直觉是遗传的，也就是智力主要是遗传的。这个如果是大模型的形式那么人类迭代的几千万年了。

阿酷怕苦

到底是涌现还是领悟，两者含义相同吗？

中国科学院

Fingest 发表于 2024-3-9 13:47
人类有自然感知 小孩子可以每天24小时从自然界获取一切“真理”的表现形式
大模型可不行，你给他的一切就 ...

人有五感，所以神经系统除了睡觉，一刻不停地在训练是吗？

有意思。那是不是还真得做个人形机器人，给它感官不停训练

cryczp

Falrev 发表于 2024-3-8 23:07
如果把人类本身当成一种设备，那么其中的技术和工艺水平领先人类自己的科技水平多少年？ ...

无法估计……脑是自适应的，相当于你拿一个新硬件装到电脑上，电脑能自己给它编一个驱动程序。

月临碧海

人每天从五感接受的数据相当于多少，这个有人能估计下吗

冰寒之月

本质还是现在大模型的结构和生物脑本身就不一样
生物神经元可以自由在多个层级间建立连接 甚至学习后改变拓扑结构
语言大模型用的基底transformer结构可没那么自由

Jet.Black

Fingest 发表于 2024-3-9 13:47
人类有自然感知 小孩子可以每天24小时从自然界获取一切“真理”的表现形式
大模型可不行，你给他的一切就 ...

互联网也24小时都有新事

Steel.Haze

月临碧海 发表于 2024-3-9 14:47
人每天从五感接受的数据相当于多少，这个有人能估计下吗

太大了。不过人类的数据记录方式相当复杂，它的特点不在于记录，而且在于选择性抛弃。对数据的选择性废弃和数据挑选能力才是人类思维进化的核心模块。人类对海量数据的再处理和长线记忆能力是惊人且复杂的。简言之，其它动物是做不到这样长线的记忆的。你看到的信息，大脑先从总流量中筛选获取的，然后在逐级筛选取用的丢给思考和记忆神经元模块.最后只有少量的关键数据被记录。借此解决了海量的数据冲击和对脑部的挤占问题。

双刀少女

所以现在大模型已经会加减乘除了？

logiccat

卷积神经网络是这样的，你只能清楚地知道输入和输出结果，中间的连接路径简直就是量子叠加态一样的不可知，但从逻辑上讲，这样的神经网络与人脑极其相似，那么只能用人类学习的逻辑来概括这种情况，那就是顿悟，突然开窍了，突然学会了，但也有“突然忘记了”“突然变笨了”这种情况，所以AI到底是不是更可靠更有效是个新的问题……毕竟AI现在在通用任务上像人一样尚且达不到

HIDER

人类出生就通过遗传因子自带了大模型，后天学习都是在微调啦

—— 来自 HUAWEI NOH-AN00, Android 12上的 S1Next-鹅版 v2.5.4

鸳鸳相抱

novalli 发表于 2024-3-8 21:13
显然人工智能在“模仿人脑”这个路径上发展并不顺利，还远远不能达到类似表现的程度，更不要说类似的性能了 ...

星顿这一派人工智能根本就不提倡模仿人脑，才有了生成式人工智能，打这么多字前不如先读读人家做了啥

montanaB

煙雲靉靆 发表于 2024-3-8 20:47
人类顿悟不需要那么多训练材料和训练时间吧。
像加法小学教学都是方法论，学会十以内加法后教师就开始教 ...

其实我一直有一个疑问，就是人类到底是怎么学会10以内加法的？我就我自己来说，我感觉我当年不是学会的，而就是背的，死记硬背背出来的。而我女儿现在感觉就是背不会，抽查她总是发现她会忘记。我也很苦恼。

montanaB

十六夜鬼月 发表于 2024-3-8 23:42
说个定论，人类，或者生物大脑的思考是基于模拟信号的，所以任何想要用现代电子计算机这种基于二进制数字信 ...

等一下。我记得智能的原理到现在为止都没有搞得很清楚吧，你为什么这么肯定生物大脑的思考是基于模拟信号的呢？

CCauchy

montanaB 发表于 2024-3-9 17:01
其实我一直有一个疑问，就是人类到底是怎么学会10以内加法的？我就我自己来说，我感觉我当年不是学会的， ...

先学会数数，然后想象数数

论坛助手,iPhone

十六夜鬼月

montanaB 发表于 2024-3-9 17:04
等一下。我记得智能的原理到现在为止都没有搞得很清楚吧，你为什么这么肯定生物大脑的思考是基于模拟信号 ...

智能在体系结构上确实还没搞清楚，但组成体系结构的肯定不是基于数字信号这点是可以推论出来的。

jojog

星顿老爷子已经快成ai doomer了………

dazzle

montanaB 发表于 2024-3-9 17:01
其实我一直有一个疑问，就是人类到底是怎么学会10以内加法的？我就我自己来说，我感觉我当年不是学会的， ...

就是练习，通过大量的练习建立一种条件反射，从算法上来讲就是查表法，其效率远远吊打任何其他算法，唯一的问题就是人类的常驻内存太小了，记不了多少东西
比如5+3，学校教会教小孩子从5往后数3个数，但大人是不会这样算的，而是看到5和3直接反应出8
再比如7+5，笨一点的直接从7往后数，聪明点的拆成7+3+2，但高年级学生应该是直接反应出12，无需任何思考
20以内加减法是普通人都能做到的，更复杂的题目其实也有厉害的人能通过训练达到这种效果，这就是数学教育里所说的对数的敏感性

icer

记得在哪看过 you don't understand math, you get used to it

remedios010000

硅基智能的事你们这群碳基猴子不用整的那么清楚

remedios010000

硅基智能的事你们这群碳基猴子不用整的那么清楚

eugene1208

人类不理解伯努利原理也不妨碍人类造出帆船横渡大洋啊，你理解自行车怎么保存平衡的吗？妨碍你骑自行车了吗？

H2Ofrozen

CCauchy 发表于 2024-3-9 13:29
我一直很好奇不论什么科普都没有提及神经信号传递的连续性和两组神经元之间的延迟对于大脑运行的影响或者 ...

你说的可能比较接近整个兴奋-抑制网络层面的神经振荡(neural oscillation)，这个层面上已经不关注单个神经元之间如何连接和交流了，而是以整个网络模块为对象，比如最经典的海马-前额叶局部场电位同步(LFP synchronization)和锁相(phase locking)跟网络功能和行为结果的直接因果关系

工程学上的问题还是在单个神经元之间如何构建局部环路，这就是一个很偏微观层面的难题。突触层面的同步或延迟就是所谓的脉冲时序依赖可塑性(STDP)的内容，很多机器学习实践都在想方设法把它应用到人工神经网络里去，然而这只是所有突触长时可塑性里边的其中一种。。。

CCauchy

H2Ofrozen 发表于 2024-3-9 22:06
你说的可能比较接近整个兴奋-抑制网络层面的神经振荡(neural oscillation)，这个层面上已经不关注单个神 ...

是否存在一种记忆以神经信号或脉冲的循环传递来存储？

论坛助手,iPhone

H2Ofrozen

CCauchy 发表于 2024-3-10 10:16
是否存在一种记忆以神经信号或脉冲的循环传递来存储？

论坛助手,iPhone

记忆印痕(engram)啊，目前最广泛认同的记忆模型。搞计算的会讲这是hopfield网络、吸引子啥的，反正神经生物学描述的实验现象就是编码(encoding)和检索(retrieval)时都会激活的同一群神经元，就叫做印痕神经元

想了想可能你的意思是指必须要持续激活，那前额叶的工作记忆编码可能更加符合。这个是短期记忆(持续时间大概半分钟以内)，还不足以形成印痕。形成印痕是长期记忆，需要更多脑区比如海马杏仁核之类来参与

夏胧

Fingest 发表于 2024-3-9 13:47
人类有自然感知 小孩子可以每天24小时从自然界获取一切“真理”的表现形式
大模型可不行，你给他的一切就 ...

假设有一个模型能接触足够量的摄像头，麦克风，甚至机械臂
那模型也能触及真实世界，后面会很有意思

—— 来自 Xiaomi M2102K1C, Android 13上的 S1Next-鹅版 v2.5.4

CCauchy

H2Ofrozen 发表于 2024-3-10 13:57
记忆印痕(engram)啊，目前最广泛认同的记忆模型。搞计算的会讲这是hopfield网络、吸引子啥的，反正神经生 ...

印痕是通过改变神经元连接情况来实现的？

论坛助手,iPhone

HugeVic

00w0 发表于 2024-3-8 21:01 引用:hersi 发表于 2024-3-8 20:59 如果这个世界上有造物主的话，可能他也不知道怎么鼓捣就把宇宙搞出来了吧 ... 非全知全能的能算造物主吗？

全都是相对不全来说的，你先解释一下什么是不全知全能？不要看到别人说什么就等不及来杠了来自: iPhone客户端

H2Ofrozen

CCauchy 发表于 2024-3-10 14:40
印痕是通过改变神经元连接情况来实现的？

论坛助手,iPhone

当然是，这就是前面讲的突触长时可塑性的结果

ジュリア

Fingest 发表于 2024-3-9 13:47
人类有自然感知 小孩子可以每天24小时从自然界获取一切“真理”的表现形式
大模型可不行，你给他的一切就 ...

不是的，视觉和听觉的信息速率是可以被精确测算的，学龄前小孩和现在大模型的样本不存在数量级差异。小孩子能完成驾驶工作而大模型不行，究其根源可能还是几十亿年的进化影响

糟糕喵

归纳而已，是人类自己使用的加法本身就没几条规则。