有什么可以本地化部署的文字类大模型吗？

c月光咖啡 · 发表于 2025-1-24 11:41

因为平时写的都是较为敏感的材料，上传是禁止的，以前部署过GLM 6B感觉挺傻写不出人话，想自己部署一个本地大模型喂一堆文档，有什么推荐吗？

cody198879 · 发表于 2025-1-24 11:43

deepsek有蒸馏的小模型

—— 来自鹅球 v3.3.96-alpha

jojog · 发表于 2025-1-24 11:43

喂文档是需要多模态？
部署本地的应该还没吧？除了复制黏贴的

方舟 · 发表于 2025-1-24 11:48

deepseek的今天看消息，有版本能在手机上跑起来

狭义文具爱好者 · 发表于 2025-1-24 12:00

目前性能和大小比较均衡的是deepseek蒸馏过的qwen-32B，再小智力还是难免不够，就是这个也要21G显存

c月光咖啡 · 发表于 2025-1-24 12:36

24G显存那不是K80-24G的性价比就很高了？

scstriker · 发表于 2025-1-24 13:18

你可以试试FASTGPT+Qwen，有现成的工作流

Hyst3r1a · 发表于 2025-1-24 13:23

一直很好奇信息泄露的问题，用大模型写代码的，不怕数据库密码之类都传到外面去么

精钢魔像 · 发表于 2025-1-24 13:52

Hyst3r1a 发表于 2025-1-24 13:23
一直很好奇信息泄露的问题，用大模型写代码的，不怕数据库密码之类都传到外面去么 ...

开发环境不会连到生产的数据库。

xibeijian · 发表于 2025-1-24 14:50

机器能力所限，这个量级的就是本机上限了（打算试试deepseek r1 的几个GGUF 模型）

		自动登录	找回密码
密码			立即注册

[科技] 有什么可以本地化部署的文字类大模型吗？