各位HOMELAB有玩本地大模型的吗？交流下SETUP

vertusd

抛砖引玉：
   HOMELAB：
   1.一台X99平台 ：超微7048准系统（支持4GPU）+2 * 2080TI（22G） + 2 * E5V3 +64G 内存  
   2.一台EYPC平台：H11SS-I + 单EPYC 7302P + 1*V100 PCIE + 64G 内存
   公司：
   1.三台华为昇腾设备 每台8张昇腾910B1

目前在玩LLAMA3/QWEN2模型RAG+微调（用的LLAMA-FACTORY）:
   1.家里在做RAG测试，后端用CHATGLM4 API测试过，准备换为本地大模型，RAG框架也准备换为GRAPH-RAG。
   2.单位有三台昇腾部署了青云的AI平台在做QWEN2-70B的模型微调，还在做微调训练数据的生成，后面也准备对接GRAGH-RAG

  家里两张2080TI显存只有44G，做稍微大点的模型微调都干不了（不满足于RAG），后面可能也考虑租用外部设备，因为公司的设备也是好不容易借来的， 没法一直用。

诚司

两个20080ti够了，但你这内存不够，加点内存，deepspeed要用的，我本地也64G，导致多卡deepspeed，进程会被杀掉

两个2080ti可以微调Qwen1.5 32B或者command R，用Deepspeed+QLORA，

Vicarious

先收藏插眼了

感觉明年我也会开始这贴这个

—— 来自 Xiaomi 23049RAD8C, Android 13上的 S1Next-鹅版 v2.5.2-play

mandingo

之前搞了台二手epyc双cpu主机，1tb的内存，只花了1万2千元，感觉很划算。而且1tb内存可能可以跑400b模型，就是cpu运行会慢不少

vertusd

laotoutou 发表于 2024-7-28 13:23
能达到什么效果。如果公司用的话能把客服的常用问题训练进去吗？

效果还在验证（我们公司内部网络也上线了别人团队负责的微调QWEN2对话机器人，但是没加RAG，领域知识就跟外网模型类似，一样是呆瓜），我放家里也是自己学习使用，因为后面工作可能会涉及，就提前练练手。加上公司的信息比较敏感，放外网训练也不放心

ambivalence

4090+2080ti魔改22g.不上不下的配置

-lilipeipei-

现在homelab跑本地LLM有啥推荐的低成本配置推荐吗？专门买个4090跑这个总觉得成本略高，二手两路2080ti SLI能行吗？

scstriker

楼主能加个联系方式吗，也有这方面需求，想向您学习一下

WiiGe

-lilipeipei- 发表于 2024-7-29 06:57
现在homelab跑本地LLM有啥推荐的低成本配置推荐吗？专门买个4090跑这个总觉得成本略高，二手两路2080ti SLI ...

考虑过 P100*(4或8)+PCIe Switch的路子吗？超微洋垃圾平台3000，剩下的随便配配？

就是机器上挂的设备比较多会变成电网VIP(