求推荐双4090的家用炼丹配置

dodolee · 发表于 2023-12-9 11:43

本帖最后由 dodolee 于 2023-12-9 17:22 编辑

最近想折腾一下LLM微调，考虑到流转性和B站林亦LYi的不断吹捧，本来想等等看Mac Studio M3 Ultra，但看各种评测，虽然显存上Mac有优势，但计算性能似乎只有3090的水平，就想看看双4090的PC配置。
看网上文章似乎普通家用主板有PCIE条数不足的问题？另外电源和噪音会不会很大？价格应该能控制在192G的Mac Studio以下吧？

PS：autodl之类的平台还要抢显卡，感觉还是太不稳定了……

灰流うらら · 发表于 2023-12-9 11:57

提示: 作者被禁止或删除内容自动屏蔽

你说这个谁懂呀? · 发表于 2023-12-9 12:00

48g显存微调估计就是一个Llama-7B吧,其实没必要现在弄,
最新的工作一直在弄小模型蒸馏+MoE,
估计过不了多久就是你不介意时长就可以是多个小模型进行串联运算了.

你说这个谁懂呀? · 发表于 2023-12-9 12:01

本帖最后由你说这个谁懂呀? 于 2023-12-9 12:03 编辑

还有那个什么估计也就是3090给我弄笑了,
公开数据库里看到画图 Mac Studio 2022, Mac13,1, Apple M1 Max with additional GPU option，性能评分是1.17it/s
而4090高于40it/s。里面视频的例子是一个贪吃蛇的例子,说实话没准CPU都能跑起来

lvcha · 发表于 2023-12-9 12:01

提示: 作者被禁止或删除内容自动屏蔽

灰流うらら · 发表于 2023-12-9 12:04

提示: 作者被禁止或删除内容自动屏蔽

你说这个谁懂呀? · 发表于 2023-12-9 12:05

真敢兴趣可以考虑买A40 48Gb显存,差不多4090的性能,5200刀

naiveyan · 发表于 2023-12-9 12:28

抄作业可以参考这个？https://www.bilibili.com/video/av601985024/
以及虽然3090矿渣暴涨了一波，但是还是只要4090一半的价格吧

gx19860411 · 发表于 2023-12-9 12:38

电源1000w估计不够

—— 来自 Xiaomi M2011K2C, Android 13上的 S1Next-鹅版 v2.5.4

codecloud · 发表于 2023-12-9 14:28

硬特二好像有支持4tb内存的cpu,
硬威大的显卡好像没那么高?只有128g显存?但可以多路叠加.
来两块就256gb显存了
整一套这样的平应该是大公司的炼丹入门款?

少年的深渊 · 发表于 2023-12-9 14:32

提示: 作者被禁止或删除内容自动屏蔽

dodolee · 发表于 2023-12-9 17:09

少年的深渊发表于 2023-12-9 14:32
直接上单块48g显存的不好吗

比如什么卡？

		自动登录	找回密码
密码			立即注册

灰流うらら灰流うらら当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2022-3-31 头像被屏蔽	发表于 2023-12-9 11:57 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

lvcha lvcha 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2011-6-22 头像被屏蔽	发表于 2023-12-9 12:01 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

灰流うらら灰流うらら当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2022-3-31 头像被屏蔽	发表于 2023-12-9 12:04 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

少年的深渊少年的深渊当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2023-5-11 头像被屏蔽	发表于 2023-12-9 14:32 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

[硬件] 求推荐双4090的家用炼丹配置