论坛 › ＰＣ数码 › 内存/显存救星，一个新的线性内存开销AI架构正在流行

npk7k 发表于 2024-4-1 22:19

omnitoken 发表于 2024-4-1 22:25

RNN变种而已

有没有规模效益现在是未知的

—— 来自 Xiaomi Mi 10, Android 13上的 S1Next-鹅版 v2.5.4

塔奇克马 发表于 2024-4-1 23:00

什么时候20g显存能装下70b模型啊

—— 来自 HUAWEI HLK-AL00, Android 9上的 S1Next-鹅版 v2.5.4

Gazzz 发表于 2024-4-1 23:17

mem，what can i say

sunbeach 发表于 2024-4-1 23:30

mamba out of memory

tsubasa9 发表于 2024-4-1 23:50

用时间换空间，我觉得还是时间更值钱

カドモン 发表于 2024-4-2 00:32

tsubasa9 发表于 2024-4-1 23:50
用时间换空间，我觉得还是时间更值钱

但是A800现在这个价格

alann 发表于 2024-4-2 07:39

曼巴精神

無始無終 发表于 2024-4-2 07:49

火星，而且我怀疑这玩意能不能竞争过RWKV

—— 来自 S1Fun

npk7k_1 发表于 2024-4-2 08:32

tsubasa9 发表于 2024-4-1 23:50
用时间换空间，我觉得还是时间更值钱

是时间和空间都省了

山东 发表于 2024-4-2 08:46

mamba, what can i say? CUDA out of memory

橋白 发表于 2024-4-2 08:50

mamba的结构图各种连线 对我这种弱智来说 理解结构并且记住 太复杂了

查看完整版本: 内存/显存救星，一个新的线性内存开销AI架构正在流行