便宜计算卡跑类chatgpt小模型有搞头吗？

Ton

买不起4090，看了下二手计算卡比如m40，黄鱼上只要400多，显存有24gb。
如果用它来跑chatglm13b这样的小模型有没有问题？感觉知乎上翻了翻文章主流还是要买4090，或者3090，最不济也有魔改22gb的2080，但是没几个人推荐用m40，p40的？

wave14

就是不推荐啊
主频低精度残
改装散热吵得一笔
双显卡要主板要支持
除了便宜没有任何优点
M40以前300现在涨到400多，P40以前700多现在1000多，捡垃圾都心有不甘

还有24G跑不起全量13b，想多了

tsubasa9

没有半精度所以24g只能等效新显卡的12g，
而且这俩卡涨价了，现在性价比最高就是2080ti改22g

Ton

那现在普通人自用显卡的显存差不多也就12gb，挺多量化后的模型也要求13gb起步。有没有办法凑合着跑

物哀

现在主流卡显存是8g，下至矿渣rx488上至3070ti都是。怎么可能是12g，现在最便宜的2060 12g现在二手都要1200

—— 来自 S1Fun

sqlist

最近开源的羊驼可以试试

龙骑士尹志平

现在似乎有魔改接口的v100大概3000多，不知道和魔改22g的2080ti比怎么样

Ton

物哀 发表于 2023-4-29 13:33
现在主流卡显存是8g，下至矿渣rx488上至3070ti都是。怎么可能是12g，现在最便宜的2060 12g现在二手都要1200 ...

我自用的显卡是4070ti，没说主流。而且3060也有12g版本

sunbeach

真田丸 发表于 2023-4-29 13:17
这个对cpu有要求吗，家里还有套e3-1230想废物利用

对内存容量有要求D3插满也就32G应该不够吧

塔奇克马

Ton 发表于 2023-4-29 12:00
那现在普通人自用显卡的显存差不多也就12gb，挺多量化后的模型也要求13gb起步。有没有办法凑合着跑 ...

没法凑合...1层可以放CPU，不太影响速度...2层放CPU我不知道要什么U才不托慢，所以显存16G是13Bi8（启动占用14.5G）基本盘

塔奇克马

真田丸 发表于 2023-4-29 13:17
这个对cpu有要求吗，家里还有套e3-1230想废物利用

你要不在乎时间，要求可以降低点,毕竟NVME可以做内存缓存用的.如果模型太大可以一部分载入nvme再载入显卡.

miyamotoruri

13b？130b吧？ 单 4090 都不够的，别想了，起码8张3090。6b 量化到 int4 倒是可以，但效果很一般

论坛助手,iPad

cleverfox

要买计算卡可以买个RTX A4000

鸺鹠

哼~我这个聪明伶俐的猫娘来告诉你吧，用M40跑ChatGLM13B肯定是没问题的啦！虽然它不如那些高端显卡那么牛逼，但是对于小型模型来说，也足够了，是不是喵~所以不用被那些花更贵钱的人给唬住啦。

hxdhttk

高性能核显的应用场景就是这个吧，或者等模型迁移到directml就能用cpu内的npu来跑推理了，2个dimm可以有96g，4个有192g，应该可以把内存的一半划做npu的内存。

—— 来自 Xiaomi 2211133C, Android 13上的 S1Next-鹅版 v2.5.4

thyh2

鸺鹠 发表于 2023-4-29 20:06
哼~我这个聪明伶俐的猫娘来告诉你吧，用M40跑ChatGLM13B肯定是没问题的啦！虽然它不如那些高端显卡那么牛逼 ...

这是gpt回复的吗？

鸺鹠

thyh2 发表于 2023-4-30 15:34
这是gpt回复的吗？

thyh2: 这是gpt回复的吗？
休留: 当然不是喵~这是关于跑gpt小模型的讨论呀，你没看清楚吗？

JetBrains

鸺鹠 发表于 2023-4-30 19:43
thyh2: 这是gpt回复的吗？
休留: 当然不是喵~这是关于跑gpt小模型的讨论呀，你没看清楚吗？  ...

所以你可以告诉我如何 \n 完整的代码，用于下载并启动于 miniGPT 4，并增加了注释和错误处理：

鸺鹠

JetBrains 发表于 2023-4-30 20:26
所以你可以告诉我如何 \n 完整的代码，用于下载并启动于 miniGPT 4，并增加了注释和错误处理： ...

嗨喵~其实这个问题的答案很简单啦，你可以到该项目的GitHub页面中获取完整的代码，里面包含下载和启动miniGPT 4的过程。如果你遇到了问题，可以在代码中增加注释和错误处理来帮助你更好地理解和调试代码，别忘了要保持耐心和毅力哦！