马斯克旗下大模型Grok宣布开源：参数量全球最大

ydd-319 · 发表于 2024-3-18 18:09

提示: 作者被禁止或删除内容自动屏蔽

格林达姆 · 发表于 2024-3-18 18:22

那么能写小黄文吗

nalanchen · 发表于 2024-3-18 18:25

AI 够巨魔吗

—— 来自 S1Fun

凉良 · 发表于 2024-3-18 18:28

去年才成立这就能做出来么

Nanachi · 发表于 2024-3-18 18:29

还好之前meta开源了llama，不然又会有一帮人把大模型发展归功于马斯克开源grok了

论坛助手,iPhone

天地一机成化育 · 发表于 2024-3-18 18:36

Nanachi 发表于 2024-3-18 18:29
还好之前meta开源了llama，不然又会有一帮人把大模型发展归功于马斯克开源grok了

马斯克这模型要8张H100才跑得动, 有谁来试试这模型效果怎么样没

宵待草 · 发表于 2024-3-18 18:40

314b模型权重大概在600g以上吧...告辞

lnliang · 发表于 2024-3-18 19:12

马老板是不是觉得越大越先进

诚司 · 发表于 2024-3-18 19:22

有八卡A100所以我一直觉得deepspeed的推理完全没屁用，现在看还是too young了

logiczr · 发表于 2024-3-18 19:25

本帖最后由 logiczr 于 2024-3-18 19:29 编辑

不是MOE架构吗，一次推理只会调用部分权重。
314 billion parameter Mixture-of-Experts model

东方萃梦想 · 发表于 2024-3-18 19:35

源神开2.0版本了

t09mmc · 发表于 2024-3-18 19:39

泥潭ai楼现在看不了了，以前还能看那种楼主被塞了的，不知道什么时候开始就不行了。

perfaceNext · 发表于 2024-3-18 22:07

天地一机成化育发表于 2024-3-18 18:36
马斯克这模型要8张H100才跑得动, 有谁来试试这模型效果怎么样没

这个8张卡估计要200w了吧，考验s1成色的时候来了

omnitoken · 发表于 2024-3-18 22:13

宵待草发表于 2024-3-18 18:40
314b模型权重大概在600g以上吧...告辞

给的权重做了8bit量化了, 300G左右

另外这个训练用的JAX+RUST

马斯克还是很潮流的

橋白 · 发表于 2024-3-18 22:17

logiczr 发表于 2024-3-18 19:25
不是MOE架构吗，一次推理只会调用部分权重。
314 billion parameter Mixture-of-Experts model
...

是算的时候用一部分加载还是要一起都加载到显存的
不保对我是菜鸡

FUZE · 发表于 2024-3-18 22:29

这下马斯克又开源了

SinoWarrior · 发表于 2024-3-18 22:35

性能还不如mix8x7b，辣鸡

狭义文具爱好者 · 发表于 2024-3-18 22:44

格林达姆发表于 2024-3-18 18:22
那么能写小黄文吗

英文不清楚，中文有人测的不太行

诚司 · 发表于 2024-3-18 23:01

本帖最后由诚司于 2024-3-18 23:03 编辑

reddit看到qwen1.5b因为有system prompt，可以改system prompt来实现完全“自由”的对话，当然我没试过，不过按道理是可以用来写黄文的

当然其实无审查的模型很容易搞，随便找哪家的base model，用role play的sharegpt数据稍微练练就是没审查的，也很适合拿来“玩”
当然这样练出来的指令遵循能力一般比大厂练的差一些，那在chat上常识修改也行，lora其实不费多少显存

		自动登录	找回密码
密码			立即注册

ydd-319 ydd-319 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-7-21 头像被屏蔽	发表于 2024-3-18 18:09 \| 显示全部楼层 \|阅读模式提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

[科技] 马斯克旗下大模型Grok宣布开源：参数量全球最大