脑机接口技术新突破：“意念写字”

一心而用

中新网杭州4月23日电(郭天奇)23日，浙江大学脑机接口团队的最新研究成果在浙江大学医学院附属第二医院(下称浙大二院)发布。据悉，其最新研究首次实现汉字书写脑机接口，成功实现了侵入式脑机接口控制机械臂书写汉字，科幻电影中才能见到的“意念写字”照进了现实。


图为患者依靠侵入式脑机接口控制机械臂书写汉字。浙江大学医学院附属第二医院供图

浙江大学脑机接口团队自2006年起就开展脑机接口前沿交叉研究，2012年完成国内首例猴子大脑运动皮层植入电极解码勾、抓、捏、握等精确手势；2014年完成国内首例临床病人颅内植入电极、成功解码石头剪刀布等动作；2020年实现国内首例、国际高龄首次临床志愿者侵入式脑控机械手完成喝水、进食、握手等动作。

目前，该团队最新的研究主要集中在脑控汉字书写，依靠这一技术，患者只需想象正常的书写过程，该过程就可以被运动区的神经元活动反映出来，通过对运动区神经信号的解析，可以获得其所想象的书写轨迹，并控制机械臂进行书写。

发布现场，研究团队依靠前期在患者张大伯使用过程中提取的脑电信号，操控机械臂流畅地写下“浙江大学”“脑机接口”。

“部分中风、渐冻症的患者失去书写功能，也不能说话，但通过提取脑电信号，控制外部的机械设备，写出他想要的字，就可以实现与外界沟通联系，这就是一个主要的突破。”浙江大学脑机调控临床转化研究中心神经疾病分中心主任、浙大二院神经外科主任张建民说。

实际上，脑控汉字书写在实践研究过程中遇到诸多难点。首先，传统脑机接口中对于机械臂伸抓的控制原理是大关节运动的解析，而汉字书写的过程是一种精细运动。此外，与英文相比，汉字是象形字，有复杂结构，同时笔画更多、分类更难、字数更多，解码难度也就更高。

“我们都知道汉字的书写在偏旁、部首、笔顺等方面有很多讲究，甚至笔画长一点或是短一点，也有可能完全是两个字，而且国外也不会有团队研究汉字，我们没有参照，所以此次对于汉字的成功解码是非常重要的一环，也是脑机接口研究的一个非常关键的突破。”张建民说。

目前，浙江大学脑机接口团队突破了汉字书写的特殊编码机制，在此基础上发展了汉字书写轨迹解码新技术，在离线状态下100个常用汉字的分类正确率达到了91.3%，在语言模型辅助下，在线正确率可提高至96.2%。

如今，侵入式脑机接口控制机械臂书写汉字已经实现，脑机接口的发展也取得了新的突破，未来，如何让该技术更好地服务于患者的日常生活，还需要研究来进一步优化。

“脑机接口未来的路还很长，当其硬件变得更小、创伤更小，并且实现‘无线’的时候，我们就可以对部分截瘫患者、渐冻患者进行植入，让他们完成以前不能执行的功能，例如可以控制外骨骼行走，或是控制机械臂协助日常的生活。”浙大二院神经外科副主任、功能神经外科组组长朱君明说。

执锐披坚卫镇天

...脑后插管前置科技？这种接口是怎么“接”上的啊

LastLaw

我退休的时候能躺着全机械外骨骼操作了吗

双面人

同志们好，今天我们在这里见证这一味大的，应该是伟大，不对，这东西怎么改不了，怎么什么都往上写啊CNM

Hydro

好奇，这个研究为什么是做成功能专用而非更通用的输入模式，有什么考量
比如说书写这一动作本质上也就是控制笔（光标）的几个方向的运动向量，为什么不直接训练用户输入这几个向量，未来我们做其他设备（比如脑机冰壶）的时候还能用同一套输入模式
纯粹研究阶段不考虑商业落地？抽象的动作可能活动因人而异难以统一和分解？对未来的vision就是如魔法般地用户友好？

膛线

所有男人的梦想——现写皇叔

Wanderers

在离线状态下100个常用汉字的分类正确率达到了91.3%，在语言模型辅助下，在线正确率可提高至96.2%。

其实就是分辨神经发出的信号是想写什么字，识别这个信号之后把这个字写出来？

而不是我们想的那样用脑机接口控制机械臂一笔一画的写？

Fstt

所以说，我要的脑机接口不是输出，是输入啊！！！

mildsalt

能落地普及的话，中风失语患者余生和家人医生交流会轻松一点

阴重华

Wanderers 发表于 2024-4-24 09:10
在离线状态下100个常用汉字的分类正确率达到了91.3%，在语言模型辅助下，在线正确率可提高至96.2%。

其实 ...

大脑会自己写驱动，你只要设定好输入输出，大脑可以自己学习如何使用这个外置器官，可以理解成学开车。

remedios010000

膛线 发表于 2024-4-24 09:08
所有男人的梦想——现写皇叔

离现画簧图和现拍簧片还远着呢

gawain

啥时候能反向输入啊

zdlx

啥时候能进化到YF21的BDI和BCS系统

龙骑士尹志平

双面人 发表于 2024-4-24 09:02
同志们好，今天我们在这里见证这一味大的，应该是伟大，不对，这东西怎么改不了，怎么什么都往上写啊CNM ...

也就是没法说谎了，原来三体人的思维模式是这样诞生的

Hydro

搞出来以后让很多人发现自己不是“脑子里有东西但是表述不出来”，而是“脑子里确实就是一团屎”是吧

天桥夜风

龙骑士尹志平 发表于 2024-4-24 10:42
也就是没法说谎了，原来三体人的思维模式是这样诞生的

这要是一个瘫掉的lsp碰到一漂亮护士，屏幕上太画美了

基本农田

为什么不直接打字

宇宙之心

夏日走上街头，不是满屏的操～操～操!

—— 来自 Xiaomi Mi 10, Android 13上的 S1Next-鹅版 v2.5.4

啊哈

这玩意能测谎不

loadinglab

这玩意就是读特定区域信号的 就是做一个脑信号-方向的对应 也就是基本4个轴的运动 精度提高一点罢了 不算特别创新的突破 怎么可能直接读字 且不说语言中枢范围多大 光是字-信号映照都没研究明白呢 写黄书更别想 这套系统能做到1分钟1个字都算快的了
读思维这种只可能出现在科幻小说里 现实里你把脑子扎成刺猬都读不出人的思维的

JetBrains

是的，这系统不是一般想的那样

Nanachi

意思是把这几个字的对应脑波活动映射成文字吗，还以为是操作机械臂一笔一画写那种

—— 来自 HUAWEI LNA-AL00, Android 12上的 S1Next-鹅版 v2.5.3-play

sheshiro

赛 博 笔 仙

netcat

这个要开颅植入电极吧

蓝泽玲

Hydro 发表于 2024-4-24 09:08
好奇，这个研究为什么是做成功能专用而非更通用的输入模式，有什么考量
比如说书写这一动作本质上也就是控 ...

我研一时候去别的研究室当过脑机小白鼠，
早期研究是那么做的，
但是响应挺慢的，也可能因为我当时是非侵入式贴片的。

阴谋论一下，
我其实怀疑顶楼这个演示时候其实是检测视线，
或者用测大脑对特定频率闪光的反应电位，然后让想写的字闪光，这两种响应都很快。
不然为啥前面一定要摆个显示器呢。


但是我那个快10年前了，可能现在真的不一样了。

3353764798

能意念打印涩图吗

这不科学

意念导管时代要来了

cxn

提笔忘字的时候会写出什么呢

子虚乌有

能画画吗

hugosol

写字肯定就是前后左右控制笔来写啊，不然就直接用屏幕显示结果了，只是系统应该会帮你调整写出来的东西，文章里说到汉字相关的难点就是这方面的内容

remedios010000

cxn 发表于 2024-4-24 12:39
提笔忘字的时候会写出什么呢

仓颉模块！启动！

vasopressin

OAO这个的抗感染问题要怎么解决呀，好奇

super0395

为什么要输出成文字的形式呢？这样不是精度控制成本更大吗？
下意识感觉转换成声音实现起来更简单一点？

fc874

什么时候才能机械飞升啊

清醒之梦

脑机到现在也是很低精度的输出啊，输入感觉完全不大可能了，有生之年应该只能落地到医疗辅助上……

sanxgh571

十几年前就是写字现在还是写字
当时还说帮助手臂不方便的人，可这么多年过去语音输入乃至视觉输入都超级成熟了