求推机器学习显卡
多谢各位大佬点进来，求推机器学习的显卡。稍微了解了一下，好像入门16G显存是刚需，我暂时看中的是4070ti Super 16G。但是这个价格完全看不明白，某宝上面5600~8000都有，但是8000我可以入4080 super了啊，这个差价具体体现在哪里呢？散热、稳定性、皮肤、频率、品牌溢价？一路看下来有点眼花缭乱，还请大佬们指点应该怎么选。如果做等等党，50系刚上市的话同价位有更好的选择吗？感激不尽！
只要16G显存那不是4060ti就够了么 本帖最后由 darkangel0224 于 2024-10-31 00:41 编辑
RTX4090，美丽国国会老爷首席带盐产品。都不卖你，说明是能干活的，而且真干活两张起 看楼主提问方式不是真买来干活的，学习4080/3090/4090够用就行了。真干活也能考虑租在线卡。 买你买得起的最贵的
—— 来自 鹅球 v3.0.87-alpha 机器学习不是 cpu 就够了吗？看看你要研究哪方面，古早的 cnn3060 12g 都够，当然能上高算力卡还是上高算力，能上大显存就上大显存。
搞 llm 只推理的话 4070s 其实也能跑一些轻量级的，训练微调就不要想了。 我司业务模型甚至还是在12GB的1080ti上训练的，所以主要看你想要干什么 借楼问一句，4张4090跑本地LLM运行功率有多少？有点担心办公室墙插顶不住。 本帖最后由 godke 于 2024-10-31 09:56 编辑
cscn 发表于 2024-10-31 09:16
借楼问一句，4张4090跑本地LLM运行功率有多少？有点担心办公室墙插顶不住。 ...
我们现在用的正好是4卡4090。刚刚测试了一下Llama3.1 70B推理总功率大概在440W左右，考虑到还有其他人在跑实验，大致应该在400W左右。
当然这是没有并发的情况
感谢大家的关注。我现在是连入门都没有的状态，加上对显卡市场也不了解，所以现在非常蒙圈。我现在的任务目标是从图像中检测出感兴趣的对象，训练环境得到理想的模型后，把结果应用到ARM系统里，这个属于学习和推理的范畴吗？能力范围里买最贵的倒是也没错，但是8000块买一张4070ti super仍然觉得非常奇怪。 本帖最后由 godke 于 2024-10-31 14:52 编辑
挺 lz 描述应该是做显著性检测，语义分割和目标检测这类的任务，感觉 4060ti 16g 足以。当然有钱能上 4070 ti s 更好
部署 arm 上是指的部署嵌入式？那是不是都不需要显卡进行推理？那感觉直接线上租个卡训，然后买个好点的开发板套件更好？
我也不太懂嵌入式部署这块 我试过用纯CPU做推理，用C#的ONNXRuntime写了个demo，7950X跑一张照片花了2秒。在几块RK3568和RK3588的主板上用了20~30秒，非常不理想。也可能是我的姿势有问题（当然这个又是和训练环境无关的另一个话题了）。没选4060是因为位宽只有128，4707tis有256。 cscn 发表于 2024-10-31 09:16
借楼问一句，4张4090跑本地LLM运行功率有多少？有点担心办公室墙插顶不住。 ...
之前台北电脑展厂商整活是1600w电源带4张我记得
—— 来自 鹅球 v3.0.86-alpha 同样核心买最便宜的（不在乎外观）旗舰款只有外观和散热的区别，有时候丐板由于核心体质更好性能可能更强
靠ai吃饭邪门的有2080ti魔改22g、泰坦、3090ti之类的，魔改卡之前pdd还卖过有店保的，胆子大可以买，4060ti16g这种答辩完全不要去考虑，位宽就是老黄鸡贼的地方，另外某些模型印象中可以用内存和cpu跑
—— 来自 鹅球 v3.0.86-alpha intuitus 发表于 2024-10-31 15:27
同样核心买最便宜的（不在乎外观）旗舰款只有外观和散热的区别，有时候丐板由于核心体质更好性能可能更强
...
非常感谢。 模型越来越大 16G够用吗？ 16G也不够吗？ llm 16g肯定不够，上4090才可以玩的舒服点 好吧，所幸大语言模型暂时不会碰到。 autodl先租几天吧，不够再买 你又不玩大语言模型，16g不是稳稳的 不懂就问， 这个显卡和所能支持的模型关系是啥，是说有个最低阈值，比如16G之后就都能跑了，只是单纯速度慢， 还是说不同模型的阈值不同，比如xxx 最低要求显卡64G， xxx最低要求显卡320G， 这种模型普通人就无缘了
页:
[1]