c月光咖啡 发表于 2025-1-24 11:41

有什么可以本地化部署的文字类大模型吗？

因为平时写的都是较为敏感的材料，上传是禁止的，以前部署过GLM 6B感觉挺傻写不出人话，想自己部署一个本地大模型喂一堆文档，有什么推荐吗？

cody198879 发表于 2025-1-24 11:43

deepsek有蒸馏的小模型

—— 来自 鹅球 v3.3.96-alpha

jojog 发表于 2025-1-24 11:43

喂文档是需要多模态？
部署本地的应该还没吧？除了复制黏贴的

方舟 发表于 2025-1-24 11:48

deepseek的今天看消息，有版本能在手机上跑起来

狭义文具爱好者 发表于 2025-1-24 12:00

目前性能和大小比较均衡的是deepseek蒸馏过的qwen-32B，再小智力还是难免不够，就是这个也要21G显存

c月光咖啡 发表于 2025-1-24 12:36

24G显存那不是K80-24G的性价比就很高了？

scstriker 发表于 2025-1-24 13:18

你可以试试FASTGPT+Qwen，有现成的工作流

Hyst3r1a 发表于 2025-1-24 13:23

一直很好奇信息泄露的问题，用大模型写代码的，不怕数据库密码之类都传到外面去么

精钢魔像 发表于 2025-1-24 13:52

Hyst3r1a 发表于 2025-1-24 13:23
一直很好奇信息泄露的问题，用大模型写代码的，不怕数据库密码之类都传到外面去么 ...

开发环境不会连到生产的数据库。

xibeijian 发表于 2025-1-24 14:50

机器能力所限，这个量级的就是本机上限了（打算试试deepseek r1 的几个GGUF 模型）
页: [1]
查看完整版本: 有什么可以本地化部署的文字类大模型吗？