求推荐双4090的家用炼丹配置
本帖最后由 dodolee 于 2023-12-9 17:22 编辑最近想折腾一下LLM微调，考虑到流转性和B站林亦LYi的不断吹捧，本来想等等看Mac Studio M3 Ultra，但看各种评测，虽然显存上Mac有优势，但计算性能似乎只有3090的水平，就想看看双4090的PC配置。
看网上文章似乎普通家用主板有PCIE条数不足的问题？另外电源和噪音会不会很大？价格应该能控制在192G的Mac Studio以下吧？
PS：autodl之类的平台还要抢显卡，感觉还是太不稳定了……
48g显存微调估计就是一个Llama-7B吧,其实没必要现在弄,
最新的工作一直在弄小模型蒸馏+MoE,
估计过不了多久就是你不介意时长就可以是多个小模型进行串联运算了. 本帖最后由 你说这个谁懂呀? 于 2023-12-9 12:03 编辑
还有那个什么估计也就是3090给我弄笑了,
公开数据库里看到画图 Mac Studio 2022, Mac13,1, Apple M1 Max with additional GPU option，性能评分是1.17it/s
而4090高于40it/s。里面视频的例子是一个贪吃蛇的例子,说实话没准CPU都能跑起来
真敢兴趣可以考虑买A40 48Gb显存,差不多4090的性能,5200刀 抄作业可以参考这个？https://www.bilibili.com/video/av601985024/
以及虽然3090矿渣暴涨了一波，但是还是只要4090一半的价格吧 电源1000w估计不够
—— 来自 Xiaomi M2011K2C, Android 13上的 S1Next-鹅版 v2.5.4 硬特二好像有支持4tb内存的cpu,
硬威大的显卡好像没那么高?只有128g显存?但可以多路叠加.
来两块就256gb显存了
整一套这样的平应该是大公司的炼丹入门款? 少年的深渊 发表于 2023-12-9 14:32
直接上单块48g显存的不好吗
比如什么卡？
页:
[1]