求推机器学习显卡

runnerchin · 发表于 2024-10-31 00:02

多谢各位大佬点进来，求推机器学习的显卡。稍微了解了一下，好像入门16G显存是刚需，我暂时看中的是4070ti Super 16G。但是这个价格完全看不明白，某宝上面5600~8000都有，但是8000我可以入4080 super了啊，这个差价具体体现在哪里呢？散热、稳定性、皮肤、频率、品牌溢价？一路看下来有点眼花缭乱，还请大佬们指点应该怎么选。如果做等等党，50系刚上市的话同价位有更好的选择吗？

感激不尽！

天地一机成化育 · 发表于 2024-10-31 00:13

只要16G显存那不是4060ti就够了么

darkangel0224 · 发表于 2024-10-31 00:40

本帖最后由 darkangel0224 于 2024-10-31 00:41 编辑

RTX4090，美丽国国会老爷首席带盐产品。都不卖你，说明是能干活的，而且真干活两张起

acropolis · 发表于 2024-10-31 02:45

看楼主提问方式不是真买来干活的，学习4080/3090/4090够用就行了。真干活也能考虑租在线卡。

笵藏 · 发表于 2024-10-31 02:58

提示: 作者被禁止或删除内容自动屏蔽

tau_cross · 发表于 2024-10-31 07:53

买你买得起的最贵的

—— 来自鹅球 v3.0.87-alpha

godke · 发表于 2024-10-31 09:08

机器学习不是 cpu 就够了吗？看看你要研究哪方面，古早的 cnn3060 12g 都够，当然能上高算力卡还是上高算力，能上大显存就上大显存。
搞 llm 只推理的话 4070s 其实也能跑一些轻量级的，训练微调就不要想了。

東京急行 · 发表于 2024-10-31 09:14

我司业务模型甚至还是在12GB的1080ti上训练的，所以主要看你想要干什么

cscn · 发表于 2024-10-31 09:16

借楼问一句，4张4090跑本地LLM运行功率有多少？有点担心办公室墙插顶不住。

godke · 发表于 2024-10-31 09:55

本帖最后由 godke 于 2024-10-31 09:56 编辑

cscn 发表于 2024-10-31 09:16
借楼问一句，4张4090跑本地LLM运行功率有多少？有点担心办公室墙插顶不住。 ...

我们现在用的正好是4卡4090。刚刚测试了一下Llama3.1 70B推理总功率大概在440W左右，考虑到还有其他人在跑实验，大致应该在400W左右。

当然这是没有并发的情况

runnerchin · 发表于 2024-10-31 14:13

感谢大家的关注。我现在是连入门都没有的状态，加上对显卡市场也不了解，所以现在非常蒙圈。我现在的任务目标是从图像中检测出感兴趣的对象，训练环境得到理想的模型后，把结果应用到ARM系统里，这个属于学习和推理的范畴吗？能力范围里买最贵的倒是也没错，但是8000块买一张4070ti super仍然觉得非常奇怪。

godke · 发表于 2024-10-31 14:45

本帖最后由 godke 于 2024-10-31 14:52 编辑

挺 lz 描述应该是做显著性检测，语义分割和目标检测这类的任务，感觉 4060ti 16g 足以。当然有钱能上 4070 ti s 更好

部署 arm 上是指的部署嵌入式？那是不是都不需要显卡进行推理？那感觉直接线上租个卡训，然后买个好点的开发板套件更好？

我也不太懂嵌入式部署这块

laotoutou · 发表于 2024-10-31 15:04

提示: 作者被禁止或删除内容自动屏蔽

laotoutou · 发表于 2024-10-31 15:09

提示: 作者被禁止或删除内容自动屏蔽

runnerchin · 发表于 2024-10-31 15:11

我试过用纯CPU做推理，用C#的ONNXRuntime写了个demo，7950X跑一张照片花了2秒。在几块RK3568和RK3588的主板上用了20~30秒，非常不理想。也可能是我的姿势有问题（当然这个又是和训练环境无关的另一个话题了）。没选4060是因为位宽只有128，4707tis有256。

intuitus · 发表于 2024-10-31 15:26

cscn 发表于 2024-10-31 09:16
借楼问一句，4张4090跑本地LLM运行功率有多少？有点担心办公室墙插顶不住。 ...

之前台北电脑展厂商整活是1600w电源带4张我记得

—— 来自鹅球 v3.0.86-alpha

intuitus · 发表于 2024-10-31 15:27

同样核心买最便宜的（不在乎外观）旗舰款只有外观和散热的区别，有时候丐板由于核心体质更好性能可能更强
靠ai吃饭邪门的有2080ti魔改22g、泰坦、3090ti之类的，魔改卡之前pdd还卖过有店保的，胆子大可以买，4060ti16g这种答辩完全不要去考虑，位宽就是老黄鸡贼的地方，另外某些模型印象中可以用内存和cpu跑

—— 来自鹅球 v3.0.86-alpha

runnerchin · 发表于 2024-10-31 15:30

intuitus 发表于 2024-10-31 15:27
同样核心买最便宜的（不在乎外观）旗舰款只有外观和散热的区别，有时候丐板由于核心体质更好性能可能更强
...

非常感谢。

塔奇克马 · 发表于 2024-10-31 15:41

模型越来越大 16G够用吗？

runnerchin · 发表于 2024-10-31 16:16

16G也不够吗？

chaucerling · 发表于 2024-10-31 16:31

llm 16g肯定不够，上4090才可以玩的舒服点

runnerchin · 发表于 2024-10-31 16:45

好吧，所幸大语言模型暂时不会碰到。

bgod666 · 发表于 2024-10-31 17:00

autodl先租几天吧，不够再买

TonyKnight · 发表于 2024-10-31 18:31

你又不玩大语言模型，16g不是稳稳的

b0207191 · 发表于 2024-10-31 18:46

不懂就问，这个显卡和所能支持的模型关系是啥，是说有个最低阈值，比如16G之后就都能跑了，只是单纯速度慢，还是说不同模型的阈值不同，比如xxx 最低要求显卡64G， xxx最低要求显卡320G，这种模型普通人就无缘了

		自动登录	找回密码
密码			立即注册

[硬件] 求推机器学习显卡

评分

评分

笵藏笵藏当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2014-3-20 头像被屏蔽	发表于 2024-10-31 02:58 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

laotoutou laotoutou 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2016-11-9 头像被屏蔽	发表于 2024-10-31 15:04 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

laotoutou laotoutou 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2016-11-9 头像被屏蔽	发表于 2024-10-31 15:09 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报