找回密码
 立即注册
搜索
查看: 1707|回复: 24

[硬件] 求推机器学习显卡

[复制链接]
     
发表于 2024-10-31 00:02 | 显示全部楼层 |阅读模式
多谢各位大佬点进来,求推机器学习的显卡。稍微了解了一下,好像入门16G显存是刚需,我暂时看中的是4070ti Super 16G。但是这个价格完全看不明白,某宝上面5600~8000都有,但是8000我可以入4080 super了啊,这个差价具体体现在哪里呢?散热、稳定性、皮肤、频率、品牌溢价?一路看下来有点眼花缭乱,还请大佬们指点应该怎么选。如果做等等党,50系刚上市的话同价位有更好的选择吗?

感激不尽!
回复

使用道具 举报

     
发表于 2024-10-31 00:13 | 显示全部楼层
只要16G显存那不是4060ti就够了么
回复

使用道具 举报

     
发表于 2024-10-31 00:40 来自手机 | 显示全部楼层
本帖最后由 darkangel0224 于 2024-10-31 00:41 编辑

RTX4090,美丽国国会老爷首席带盐产品。都不卖你,说明是能干活的,而且真干活两张起
回复

使用道具 举报

发表于 2024-10-31 02:45 来自手机 | 显示全部楼层
看楼主提问方式不是真买来干活的,学习4080/3090/4090够用就行了。真干活也能考虑租在线卡。
回复

使用道具 举报

     
发表于 2024-10-31 02:58 | 显示全部楼层
没钱可以考虑魔改2080ti 22g
闲鱼大概2k5?


回复

使用道具 举报

     
发表于 2024-10-31 07:53 来自手机 | 显示全部楼层
买你买得起的最贵的

—— 来自 鹅球 v3.0.87-alpha
回复

使用道具 举报

     
发表于 2024-10-31 09:08 来自手机 | 显示全部楼层
机器学习不是 cpu 就够了吗?看看你要研究哪方面,古早的 cnn3060 12g 都够,当然能上高算力卡还是上高算力,能上大显存就上大显存。
搞 llm 只推理的话 4070s 其实也能跑一些轻量级的,训练微调就不要想了。
回复

使用道具 举报

发表于 2024-10-31 09:14 | 显示全部楼层
我司业务模型甚至还是在12GB的1080ti上训练的,所以主要看你想要干什么
回复

使用道具 举报

     
发表于 2024-10-31 09:16 | 显示全部楼层
借楼问一句,4张4090跑本地LLM运行功率有多少?有点担心办公室墙插顶不住。
回复

使用道具 举报

     
发表于 2024-10-31 09:55 | 显示全部楼层
本帖最后由 godke 于 2024-10-31 09:56 编辑
cscn 发表于 2024-10-31 09:16
借楼问一句,4张4090跑本地LLM运行功率有多少?有点担心办公室墙插顶不住。 ...

我们现在用的正好是4卡4090。刚刚测试了一下Llama3.1 70B推理总功率大概在440W左右,考虑到还有其他人在跑实验,大致应该在400W左右。

当然这是没有并发的情况

评分

参与人数 1战斗力 +1 收起 理由
cscn + 1 好评加鹅

查看全部评分

回复

使用道具 举报

     
 楼主| 发表于 2024-10-31 14:13 | 显示全部楼层
感谢大家的关注。我现在是连入门都没有的状态,加上对显卡市场也不了解,所以现在非常蒙圈。我现在的任务目标是从图像中检测出感兴趣的对象,训练环境得到理想的模型后,把结果应用到ARM系统里,这个属于学习和推理的范畴吗?能力范围里买最贵的倒是也没错,但是8000块买一张4070ti super仍然觉得非常奇怪。
回复

使用道具 举报

     
发表于 2024-10-31 14:45 来自手机 | 显示全部楼层
本帖最后由 godke 于 2024-10-31 14:52 编辑

挺 lz 描述应该是做显著性检测,语义分割和目标检测这类的任务,感觉 4060ti 16g 足以。当然有钱能上 4070 ti s 更好

部署 arm 上是指的部署嵌入式?那是不是都不需要显卡进行推理?那感觉直接线上租个卡训,然后买个好点的开发板套件更好?

我也不太懂嵌入式部署这块
回复

使用道具 举报

     
发表于 2024-10-31 15:04 来自手机 | 显示全部楼层
除非你的嵌入式是老黄的jetson这种,那可以在x86机器上交叉编译部署。买独立显卡有意义。当然模型量产还是得在嵌入式系统上完成。

不然的话cpu就够了。只是训练出权重而已。或者租云gpu。

回复

使用道具 举报

     
发表于 2024-10-31 15:09 来自手机 | 显示全部楼层
就按照现实需要买显卡够了,8g都行。
你的需求不需要很大显存。batch size调小点就行。

除非你以后想部署llm。
回复

使用道具 举报

     
 楼主| 发表于 2024-10-31 15:11 | 显示全部楼层
我试过用纯CPU做推理,用C#的ONNXRuntime写了个demo,7950X跑一张照片花了2秒。在几块RK3568和RK3588的主板上用了20~30秒,非常不理想。也可能是我的姿势有问题(当然这个又是和训练环境无关的另一个话题了)。没选4060是因为位宽只有128,4707tis有256。
回复

使用道具 举报

     
发表于 2024-10-31 15:26 来自手机 | 显示全部楼层
cscn 发表于 2024-10-31 09:16
借楼问一句,4张4090跑本地LLM运行功率有多少?有点担心办公室墙插顶不住。 ...

之前台北电脑展厂商整活是1600w电源带4张我记得

—— 来自 鹅球 v3.0.86-alpha
回复

使用道具 举报

     
发表于 2024-10-31 15:27 来自手机 | 显示全部楼层
同样核心买最便宜的(不在乎外观)旗舰款只有外观和散热的区别,有时候丐板由于核心体质更好性能可能更强
靠ai吃饭邪门的有2080ti魔改22g、泰坦、3090ti之类的,魔改卡之前pdd还卖过有店保的,胆子大可以买,4060ti16g这种答辩完全不要去考虑,位宽就是老黄鸡贼的地方,另外某些模型印象中可以用内存和cpu跑

—— 来自 鹅球 v3.0.86-alpha

评分

参与人数 1战斗力 +2 收起 理由
runnerchin + 2 好评加鹅

查看全部评分

回复

使用道具 举报

     
 楼主| 发表于 2024-10-31 15:30 | 显示全部楼层
intuitus 发表于 2024-10-31 15:27
同样核心买最便宜的(不在乎外观)旗舰款只有外观和散热的区别,有时候丐板由于核心体质更好性能可能更强
...

非常感谢。
回复

使用道具 举报

     
发表于 2024-10-31 15:41 | 显示全部楼层
模型越来越大 16G够用吗?
回复

使用道具 举报

     
 楼主| 发表于 2024-10-31 16:16 | 显示全部楼层
16G也不够吗?
回复

使用道具 举报

发表于 2024-10-31 16:31 来自手机 | 显示全部楼层
llm 16g肯定不够,上4090才可以玩的舒服点
回复

使用道具 举报

     
 楼主| 发表于 2024-10-31 16:45 | 显示全部楼层
好吧,所幸大语言模型暂时不会碰到。
回复

使用道具 举报

     
发表于 2024-10-31 17:00 来自手机 | 显示全部楼层
autodl先租几天吧,不够再买
回复

使用道具 举报

     
发表于 2024-10-31 18:31 来自手机 | 显示全部楼层
你又不玩大语言模型,16g不是稳稳的
回复

使用道具 举报

     
发表于 2024-10-31 18:46 | 显示全部楼层
不懂就问, 这个显卡和所能支持的模型关系是啥,是说有个最低阈值,比如16G之后就都能跑了,只是单纯速度慢, 还是说不同模型的阈值不同,比如xxx 最低要求显卡64G, xxx最低要求显卡320G, 这种模型普通人就无缘了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|上海互联网违法和不良信息举报中心|网上有害信息举报专区|962110 反电信诈骗|举报电话 021-62035905|Stage1st ( 沪ICP备13020230号-1|沪公网安备 31010702007642号 )

GMT+8, 2024-11-13 03:59 , Processed in 0.066317 second(s), 6 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表