字节跳动大模型训练被实习生恶意注入破坏代码

Humpy · 发表于 2024-10-19 09:20

10月18日，多个微信群流传一则消息：“某头部大厂的大模型训练被实习生入侵，注入了破坏代码，导致其训练成果不可靠，可能需要重新训练。据称遭到入侵的代码注入了8000多张卡，带来的损失可能超过千万美元。”

界面新闻从知情人士处获悉，该头部大厂为字节跳动。此事发生在今年6月，起因是某高校的博士在字节跳动商业化技术团队实习，因对团队资源分配不满，使用攻击代码破坏团队的模型训练任务。

界面新闻向字节跳动求方面证此事，截至目前，官方未进行回应。

传闻显示，该田姓实习生利用了HF（huggingface）的漏洞，在公司的共享模型里写入破坏代码，导致模型的训练效果忽高忽低，无法产生预期的训练效果，而且AML团队无法核查原因。但传闻曝出之后，该实习生还在某微信群里辟谣称，自己发完论文后就从字节跳动离职，这个当口有另一个人钻漏洞改模型代码，把锅扣到自己头上。

界面新闻从知情人士处了解到，字节跳动内部已经调查明确此事为田姓实习生所为。目前，该实习生已被辞退，字节跳动同时把此事同步给大模型行业联盟和该实习生所在的给学校。但这名实习生被辞退后到处“辟谣”甩锅，称是其他人所为。

但该实习生攻击的并不是豆包大模型，而是商业化技术团队的模型训练任务，影响了该技术团队的一些业务进展，但整体对公司造成的损失并没有传闻中的超过千万美元那么大。

一位技术安全专家告诉界面新闻，HF漏洞产生肯定是单一性集中训练，此事暴露了字节跳动技术训练存在安全管理问题。公司既没做权限隔离，也没有做好共用代码的审计。正常情况下，每次大的代码变动必须做审计，无论谁做操作都有痕迹记录，一个人想动代码是不可能的。

上述技术安全专家表示，目前行业通用的做法是做三级隔离导向性部署，每一级只有镜像，每次先扫描。调用按次算、必须密钥。每一级完成后，才能进入下一级，而上一级自动删除，进行分级训练。

再买自检星剁手 · 发表于 2024-10-19 09:24

提示: 作者被禁止或删除内容自动屏蔽

毒菇 · 发表于 2024-10-19 09:29

提示: 作者被禁止或删除内容自动屏蔽

诚司 · 发表于 2024-10-19 09:33

提示: 作者被禁止或删除内容自动屏蔽

本·阿弗莱克 · 发表于 2024-10-19 10:01

提示: 作者被禁止或删除内容自动屏蔽

天下有狗狗 · 发表于 2024-10-19 10:03

似乎好像也就辞退我还以为要送进去呢

yweili999 · 发表于 2024-10-19 10:05

这个事情更抽象的是实习生本人还加入了针对这个问题成立的debug小组，随时跟据对方的应变调整自己的注毒策略…

原装大小姐 · 发表于 2024-10-19 10:06

这能不坐牢的吗

—— 来自鹅球 v3.0.86-alpha

zeroboss2 · 发表于 2024-10-19 10:08

提示: 作者被禁止或删除内容自动屏蔽

xdonic · 发表于 2024-10-19 10:08

巨大的草台班子罢了

—— 来自鹅球 v3.2.91

長友彩海 · 发表于 2024-10-19 10:09

有一说一，你们训模型的是很喜欢搞这种动态加载代码的，不实际跑一遍永远不知道import的是啥玩意儿

metaphias · 发表于 2024-10-19 10:10

就这？

superchenxx02 · 发表于 2024-10-19 10:21

提示: 作者被禁止或删除内容自动屏蔽

mchl123 · 发表于 2024-10-19 10:40

不太懂算法训练这些东西，正常提交代码会有人检视的，实习生改代码不应该没人知道吧，还是说改的不是代码而是一些更复杂的权重文件一类东西使得检视极为困难？

pyx · 发表于 2024-10-19 10:40

文章里的正主发了微信辟谣，暂时还不算实锤吧？

愿闻其翔 · 发表于 2024-10-19 10:50

这要是真的够得上破坏计算机信息系统罪了吧？实习生胆子这么肥？还是真觉得大公司的法务都是吃干饭的？

omnitoken · 发表于 2024-10-19 11:00

長友彩海发表于 2024-10-19 10:09
有一说一，你们训模型的是很喜欢搞这种动态加载代码的，不实际跑一遍永远不知道import的是啥玩意儿 ...

权重至少好几个G呢...不动态加载也没办法啊

甚至有些加速的推理部署是直接mmap

防君子不防小人

月珊瑚与紫鸢尾 · 发表于 2024-10-19 11:18

愿闻其翔发表于 2024-10-19 10:50
这要是真的够得上破坏计算机信息系统罪了吧？实习生胆子这么肥？还是真觉得大公司的法务都是吃干饭的？ ...

实习生才野啊，没多少软肋，脾气爆的直接给你物理处决了的都有，不过一般也就弄死个中间管理，当地压一压，不会上新闻的

長友彩海 · 发表于 2024-10-19 11:38

omnitoken 发表于 2024-10-19 11:00
权重至少好几个G呢...不动态加载也没办法啊

甚至有些加速的推理部署是直接mmap

不是指加载模型权重，而是根据一个config动态加载diffusers或者啥本地/远程的一些py文件；本身这个config可能又是根据remote的配置动态生成的

Firvox · 发表于 2024-10-19 11:45

草台，以前还见过实习生把源代码拷回家的

烦死了 · 发表于 2024-10-19 12:28

愿闻其翔发表于 2024-10-19 10:50
这要是真的够得上破坏计算机信息系统罪了吧？实习生胆子这么肥？还是真觉得大公司的法务都是吃干饭的？ ...

光脚不怕穿👟的

tiro_finale · 发表于 2024-10-19 12:34

这人有病吧，以后什么厂敢要他

寇马可 · 发表于 2024-10-19 12:35

提示: 作者被禁止或删除内容自动屏蔽

yikaa · 发表于 2024-10-19 12:40

https://github.com/JusticeFighte ... ?tab=readme-ov-file

zdn · 发表于 2024-10-19 12:45

清华又有对门的黑料了

Alexmacau8 · 发表于 2024-10-19 12:49

什么大聪明，赶紧送这位大boss进橘子吧

deadline · 发表于 2024-10-19 12:51

这种畜生，从小到大没输过和个巨婴一样，工程伦理全学狗肚子里了，我就看他导师组里的学生以后有哪个厂敢要

Fuero · 发表于 2024-10-19 12:51

还看到一个版本是本人辟谣也是假的

adso · 发表于 2024-10-19 12:53

提示: 作者被禁止或删除内容自动屏蔽

シャル · 发表于 2024-10-19 12:53

zeroboss2 发表于 2024-10-19 10:08
肯定要送进去的

只是现在这个实习生身份太敏感，要过一阵子才会处理

啥身份不能告？

yikaa · 发表于 2024-10-19 12:55

シャル发表于 2024-10-19 12:53
啥身份不能告？

p 大的，很护犊子

zerocount · 发表于 2024-10-19 12:57

yweili999 发表于 2024-10-19 10:05
这个事情更抽象的是实习生本人还加入了针对这个问题成立的debug小组，随时跟据对方的应变调整自己的注毒策 ...

夜神月加入了kira搜查本部

Eric_方歌阙 · 发表于 2024-10-19 12:57

别某高校了，p大

八佾舞于潭 · 发表于 2024-10-19 12:58

以前面试还反问过部门内抢节点现象多不多，对面笑笑说我们备考自家云管够的

虽然是 CPU

windrarara · 发表于 2024-10-19 13:03

这人搞事的动机是什么啊？

9号单开道岔 · 发表于 2024-10-19 13:03

天下有狗狗发表于 2024-10-19 10:03
似乎好像也就辞退我还以为要送进去呢

没法固定证据，没法确定主观故意，同时也无法量化损失吧。

法官能听得懂发生了什么事情吗

Sacross · 发表于 2024-10-19 13:03

仔细看这人搞得最多的是到处kill进程和手动修改别人的ckpt，是真有点恶心啊

—— 来自 OnePlus IN2020, Android 13上的 S1Next-鹅版 v2.5.4

frosta · 发表于 2024-10-19 13:04

“正常情况下，每次大的代码变动必须做审计，无论谁做操作都有痕迹记录，一个人想动代码是不可能的。”

欢迎来到字节跳动

处男老司机 · 发表于 2024-10-19 13:08

JusticeFighterDance

好中二的名字

シャル · 发表于 2024-10-19 13:10

本帖最后由シャル于 2024-10-19 13:15 编辑

yikaa 发表于 2024-10-19 12:55
p 大的，很护犊子

看了下找到了

北大田柯宇，导师是王立威

X上他照片早就满天飞了

谷歌搜下 Keyu Tian

这人长相真非善类

		自动登录	找回密码
密码			立即注册

[欢乐] 字节跳动大模型训练被实习生恶意注入破坏代码

评分

再买自检星剁手再买自检星剁手当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2020-2-18 头像被屏蔽	发表于 2024-10-19 09:24 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

毒菇毒菇当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-11-21 头像被屏蔽	发表于 2024-10-19 09:29 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

诚司诚司当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2014-11-27 头像被屏蔽	发表于 2024-10-19 09:33 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

本·阿弗莱克本·阿弗莱克当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2023-10-26 头像被屏蔽	发表于 2024-10-19 10:01 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

zeroboss2 zeroboss2 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2024-10-10 头像被屏蔽	发表于 2024-10-19 10:08 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

superchenxx02 superchenxx02 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2016-3-14 头像被屏蔽	发表于 2024-10-19 10:21 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

寇马可寇马可当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2012-5-28 头像被屏蔽	发表于 2024-10-19 12:35 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

adso adso 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2011-7-26 头像被屏蔽	发表于 2024-10-19 12:53 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报