内存/显存救星，一个新的线性内存开销AI架构正在流行

npk7k · 发表于 2024-4-1 22:19

现有的模型因为Transoformer架构需要逐token与其他所有token计算而需要N²的开销，而新出现的mamba只需要线性级开销，大有取代transformer之势。提出mamba的团队表示没有大量GPU资源进行训练过LLM，但想必各家LLM现在都在试mamba了，未来内存/显存需求有望缓解，至少推理能快。

omnitoken · 发表于 2024-4-1 22:25

RNN变种而已

有没有规模效益现在是未知的

—— 来自 Xiaomi Mi 10, Android 13上的 S1Next-鹅版 v2.5.4

塔奇克马 · 发表于 2024-4-1 23:00

什么时候20g显存能装下70b模型啊

—— 来自 HUAWEI HLK-AL00, Android 9上的 S1Next-鹅版 v2.5.4

Gazzz · 发表于 2024-4-1 23:17

mem，what can i say

sunbeach · 发表于 2024-4-1 23:30

mamba out of memory

tsubasa9 · 发表于 2024-4-1 23:50

用时间换空间，我觉得还是时间更值钱

カドモン · 发表于 2024-4-2 00:32

tsubasa9 发表于 2024-4-1 23:50
用时间换空间，我觉得还是时间更值钱

但是A800现在这个价格

alann · 发表于 2024-4-2 07:39

曼巴精神

無始無終 · 发表于 2024-4-2 07:49

火星，而且我怀疑这玩意能不能竞争过RWKV

—— 来自 S1Fun

npk7k_1 · 发表于 2024-4-2 08:32

tsubasa9 发表于 2024-4-1 23:50
用时间换空间，我觉得还是时间更值钱

是时间和空间都省了

山东 · 发表于 2024-4-2 08:46

mamba, what can i say? CUDA out of memory

橋白 · 发表于 2024-4-2 08:50

mamba的结构图各种连线对我这种弱智来说理解结构并且记住太复杂了

		自动登录	找回密码
密码			立即注册

[新闻] 内存/显存救星，一个新的线性内存开销AI架构正在流行