内存/显存救星，一个新的线性内存开销AI架构正在流行

npk7k · 发表于 2024-4-1 22:19

提示: 作者被禁止或删除内容自动屏蔽

omnitoken · 发表于 2024-4-1 22:25

RNN变种而已

有没有规模效益现在是未知的

—— 来自 Xiaomi Mi 10, Android 13上的 S1Next-鹅版 v2.5.4

塔奇克马 · 发表于 2024-4-1 23:00

什么时候20g显存能装下70b模型啊

—— 来自 HUAWEI HLK-AL00, Android 9上的 S1Next-鹅版 v2.5.4

Gazzz · 发表于 2024-4-1 23:17

mem，what can i say

sunbeach · 发表于 2024-4-1 23:30

mamba out of memory

tsubasa9 · 发表于 2024-4-1 23:50

用时间换空间，我觉得还是时间更值钱

カドモン · 发表于 2024-4-2 00:32

tsubasa9 发表于 2024-4-1 23:50
用时间换空间，我觉得还是时间更值钱

但是A800现在这个价格

alann · 发表于 2024-4-2 07:39

曼巴精神

無始無終 · 发表于 2024-4-2 07:49

火星，而且我怀疑这玩意能不能竞争过RWKV

—— 来自 S1Fun

npk7k_1 · 发表于 2024-4-2 08:32

tsubasa9 发表于 2024-4-1 23:50
用时间换空间，我觉得还是时间更值钱

是时间和空间都省了

山东 · 发表于 2024-4-2 08:46

mamba, what can i say? CUDA out of memory

橋白 · 发表于 2024-4-2 08:50

mamba的结构图各种连线对我这种弱智来说理解结构并且记住太复杂了

		自动登录	找回密码
密码			立即注册

npk7k npk7k 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2023-1-11 头像被屏蔽	发表于 2024-4-1 22:19 \| 显示全部楼层 \|阅读模式提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

[新闻] 内存/显存救星，一个新的线性内存开销AI架构正在流行