求推荐生成式AI 配置

坑爹虎 · 发表于 2024-4-28 22:50

公司开始搭AI工作站搭建ChatGLM，预算10万以内
我正在选配置，但是根本没概念，找了个实习生慢慢配进展好慢，求一步到胃

高端显卡的渠道应该没问题，就是不知道预算上限够不够

诚司 · 发表于 2024-4-28 23:01

提示: 作者被禁止或删除内容自动屏蔽

坑爹虎 · 发表于 2024-4-28 23:05

诚司发表于 2024-4-28 23:01
第一步就错了，以后步步错
chatglm3只有6B，而且都什么时代的玩意了
手机都能跑量化的chatglm 6b， ...

大佬，求推荐下吧

我可能被实习生带偏了

诚司 · 发表于 2024-4-28 23:10

提示: 作者被禁止或删除内容自动屏蔽

坑爹虎 · 发表于 2024-4-28 23:20

诚司发表于 2024-4-28 23:10
你可以看这个人:
【AI大模型本地化部署Q/A硬件篇-哔哩哔哩】 https://b23.tv/qS4RUJy
不知道你们单位什么 ...

主要是发票问题，二手会比较麻烦

3090 的性价比最高？

诚司 · 发表于 2024-4-28 23:31

提示: 作者被禁止或删除内容自动屏蔽

mythgogo · 发表于 2024-4-28 23:40

ChatGLM开源已经太监了。投入Qwen怀抱把。
10W的话，买双卡A6000，能把Qwen32B跑起来，能稍微微调一下。72B-4bit也能跑。

为什么不买4卡4090，因为vllm的parallel size 对模型隐层有要求。

诚司 · 发表于 2024-4-28 23:46

提示: 作者被禁止或删除内容自动屏蔽

squarezty · 发表于 2024-4-29 10:08

本帖最后由 squarezty 于 2024-4-29 10:14 编辑

预算10万以内想搞正经训练确实太少了，好的计算卡买不到只能买二手，好不容易买了板u跟一大堆二手卡光是it工作都够你喝一壶的，那还不如来点邪门的，买或者租台192G内存的mac studio，m2 ultra芯片那款，保证能运行70b语言模型（比如llama3-70b），但是！不保证速度，推理速度大概个位数的token/s吧，看你老板能不能接受了。搭建也很简单网上一大堆教程，其实可以租台机器试试的，短时间把环境搞好交差，跟你老板说要更好效果得加钱

坑爹虎 · 发表于 2024-4-29 14:32

mythgogo 发表于 2024-4-28 23:40
ChatGLM开源已经太监了。投入Qwen怀抱把。
10W的话，买双卡A6000，能把Qwen32B跑起来，能稍微微调一下。72B ...

今天看了你们的帖子，我好好合计了下，会买两张A6000，同步正在申请修改预算，节后会换成千问看看

绕指流光 · 发表于 2024-4-29 15:32

GLM已经是老皇历了

虽然也才几个月
现在QWEN72B是比较现实的选择

—— 来自 vivo V2302A, Android 14上的 S1Next-鹅版 v2.5.4

ycjiang1337 · 发表于 2024-4-29 16:16

本帖最后由 ycjiang1337 于 2024-4-29 16:18 编辑

可以关注一下L20，便宜大碗的48G新架构卡，搭配VLLM基本上随便跑推理，LoRA微调也可以跑一下。另外ChatGLM-6B已经是时代的眼泪了，目前智谱的重心已经放在闭源GLM4上了，想用开源模型的话基本上要么LLama3要么千问家族

泰坦失足 · 发表于 2024-4-29 18:02

英文上llama3，中文上qwen，而且qwen还帮你做好了防止AI乱说话的措施（就是看reddit还是能轻松越狱）

诚司 · 发表于 2024-4-29 20:35

提示: 作者被禁止或删除内容自动屏蔽

		自动登录	找回密码
密码			立即注册

诚司诚司当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2014-11-27 头像被屏蔽	发表于 2024-4-28 23:01 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

诚司诚司当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2014-11-27 头像被屏蔽	发表于 2024-4-28 23:10 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

诚司诚司当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2014-11-27 头像被屏蔽	发表于 2024-4-28 23:31 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

诚司诚司当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2014-11-27 头像被屏蔽	发表于 2024-4-28 23:46 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

诚司诚司当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2014-11-27 头像被屏蔽	发表于 2024-4-29 20:35 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

[硬件] 求推荐生成式AI 配置