各位HOMELAB有玩本地大模型的吗?交流下SETUP
本帖最后由 vertusd 于 2024-7-25 18:18 编辑抛砖引玉:
HOMELAB:
1.一台X99平台 :超微7048准系统(支持4GPU)+2 * 2080TI(22G) + 2 * E5V3 +64G 内存
2.一台EYPC平台:H11SS-I + 单EPYC 7302P + 1*V100 PCIE + 64G 内存
公司:
1.三台华为昇腾设备 每台8张昇腾910B1
目前在玩LLAMA3/QWEN2模型RAG+微调(用的LLAMA-FACTORY):
1.家里在做RAG测试,后端用CHATGLM4 API测试过,准备换为本地大模型,RAG框架也准备换为GRAPH-RAG。
2.单位有三台昇腾部署了青云的AI平台在做QWEN2-70B的模型微调,还在做微调训练数据的生成,后面也准备对接GRAGH-RAG
家里两张2080TI显存只有44G,做稍微大点的模型微调都干不了(不满足于RAG),后面可能也考虑租用外部设备,因为公司的设备也是好不容易借来的, 没法一直用。
本帖最后由 诚司 于 2024-7-25 19:16 编辑
两个20080ti够了,但你这内存不够,加点内存,deepspeed要用的,我本地也64G,导致多卡deepspeed,进程会被杀掉
两个2080ti可以微调Qwen1.5 32B或者command R,用Deepspeed+QLORA, 先收藏插眼了
感觉明年我也会开始这贴这个
—— 来自 Xiaomi 23049RAD8C, Android 13上的 S1Next-鹅版 v2.5.2-play 之前搞了台二手epyc双cpu主机,1tb的内存,只花了1万2千元,感觉很划算。而且1tb内存可能可以跑400b模型,就是cpu运行会慢不少 一步到位直接买500G显存的显卡集群,但电费、硬件维护开销……
不如租云GPU划算
如果是私人伴侣(command R),硬件的投资可以当成女朋友日常必需的支出 能达到什么效果。如果公司用的话能把客服的常用问题训练进去吗? 本帖最后由 vertusd 于 2024-7-28 18:54 编辑
laotoutou 发表于 2024-7-28 13:23
能达到什么效果。如果公司用的话能把客服的常用问题训练进去吗?
效果还在验证(我们公司内部网络也上线了别人团队负责的微调QWEN2对话机器人,但是没加RAG,领域知识就跟外网模型类似,一样是呆瓜),我放家里也是自己学习使用,因为后面工作可能会涉及,就提前练练手。加上公司的信息比较敏感,放外网训练也不放心 4090+2080ti魔改22g.不上不下的配置 现在homelab跑本地LLM有啥推荐的低成本配置推荐吗?专门买个4090跑这个总觉得成本略高,二手两路2080ti SLI能行吗?
页:
[1]