各位HOMELAB有玩本地大模型的吗？交流下SETUP
本帖最后由 vertusd 于 2024-7-25 18:18 编辑抛砖引玉：
HOMELAB：
1.一台X99平台 ：超微7048准系统（支持4GPU）+2 * 2080TI（22G） + 2 * E5V3 +64G 内存
2.一台EYPC平台：H11SS-I + 单EPYC 7302P + 1*V100 PCIE + 64G 内存
公司：
1.三台华为昇腾设备 每台8张昇腾910B1
目前在玩LLAMA3/QWEN2模型RAG+微调（用的LLAMA-FACTORY）:
1.家里在做RAG测试，后端用CHATGLM4 API测试过，准备换为本地大模型，RAG框架也准备换为GRAPH-RAG。
2.单位有三台昇腾部署了青云的AI平台在做QWEN2-70B的模型微调，还在做微调训练数据的生成，后面也准备对接GRAGH-RAG
家里两张2080TI显存只有44G，做稍微大点的模型微调都干不了（不满足于RAG），后面可能也考虑租用外部设备，因为公司的设备也是好不容易借来的， 没法一直用。
本帖最后由 诚司 于 2024-7-25 19:16 编辑
两个20080ti够了，但你这内存不够，加点内存，deepspeed要用的，我本地也64G，导致多卡deepspeed，进程会被杀掉
两个2080ti可以微调Qwen1.5 32B或者command R，用Deepspeed+QLORA， 先收藏插眼了
感觉明年我也会开始这贴这个
—— 来自 Xiaomi 23049RAD8C, Android 13上的 S1Next-鹅版 v2.5.2-play 之前搞了台二手epyc双cpu主机，1tb的内存，只花了1万2千元，感觉很划算。而且1tb内存可能可以跑400b模型，就是cpu运行会慢不少 一步到位直接买500G显存的显卡集群，但电费、硬件维护开销……
不如租云GPU划算
如果是私人伴侣（command R），硬件的投资可以当成女朋友日常必需的支出 能达到什么效果。如果公司用的话能把客服的常用问题训练进去吗？ 本帖最后由 vertusd 于 2024-7-28 18:54 编辑
laotoutou 发表于 2024-7-28 13:23
能达到什么效果。如果公司用的话能把客服的常用问题训练进去吗？
效果还在验证（我们公司内部网络也上线了别人团队负责的微调QWEN2对话机器人，但是没加RAG，领域知识就跟外网模型类似，一样是呆瓜），我放家里也是自己学习使用，因为后面工作可能会涉及，就提前练练手。加上公司的信息比较敏感，放外网训练也不放心 4090+2080ti魔改22g.不上不下的配置 现在homelab跑本地LLM有啥推荐的低成本配置推荐吗？专门买个4090跑这个总觉得成本略高，二手两路2080ti SLI能行吗？
页:
[1]