企业/地方政府有必要本地跑deepseek吗？

人畜无害沃特碧

坐标沿海18线小城市，朋友跟我吐槽，他们领导听说市里已经本地部署deepseek，一拍脑袋也想搞一个，预算100+万。
首先肯定不是满血版，估计70b也不是。
我寻思这钱拿去氪到官网/硅基流动pro之类的一辈子都用不完，性能和速度都比本地的快，还不用自己维护。
本地部署的唯一理由应该是保密，但是据他说95%以上的场景都不涉密。
然后涉密的内容，不知道我的理解对不对，虚构一个场景，关键词替换一下，比如说虚构一个A市，介绍一下A市的基本情况，然后推行xx政策可能会有什么影响，这样应该就不涉密了吧
就算真的本地部署，拿涉密的问题去问一个非满血版的DS，DS一本正经的胡说八道，领导一拍脑袋信了，那不是更糟。
所以本地部署是不是一个伪需求，我感觉这种情况可能更需要的是一个懂怎么用AI的秘书

-----------------------------------------------------------------------------------------------------------------------------------------------------
更新

今天又打听了一下好像真的有8卡H100还是A100，我突然又充满了信心。
之前一直担心史密斯专员搞个弱智版吃回扣

宵神乐

预算不花出去，下年别想申请

安心院静流

今天旁听别人论文（预）答辩的时候看见老师电脑里已经有建立“AI赋能教学研究中心”的通知了虽然我也只是瞟到个标题，但感觉各大高校应该也在筹备AI赋能的东西了


以及就现在DS在线版隔三岔五服务器繁忙的情况看，本地部署还真是有一定应用场景的，一来随时可用，二来数据不出系统，能满足保密需要

记得之前就有过一个新闻说哪哪国的政府工作人员居然在用GPT来处理重要政务文件的

我的头很疼

全员捧臭脚，发几篇政务信息之后再没有实际效能了。

larry1

政绩工程吧，向上汇报的时候可以说我们通过ai实现了什么什么什么解决了什么什么问题，然后效率提高了多少多少

人畜无害沃特碧

安心院静流 发表于 2025-2-26 20:49
今天旁听别人论文（预）答辩的时候看见老师电脑里已经有建立“AI赋能教学研究中心”的通知了虽然我也只是瞟 ...

那么多少b的模型能拿来写公文/改材料，和官网差距相对没那么大呢

Wiksy

实际上凑个1TB内存然后用KTransformer跑满血版ds可能还真不用太贵？

依然荏苒

我确实不懂啊😯政府不用自己数据库训练精调的llm到底有啥用啊？生成刘备文么

安心院静流

人畜无害沃特碧 发表于 2025-2-26 20:56
那么多少b的模型能拿来写公文/改材料，和官网差距相对没那么大呢

这个肯定就不是我能想得到的了
只是简单分析一下本地部署有哪些优势罢了

以及这个举措应该也有支持国产AI模型和保持创新思维、与时俱进之类的“精神”在，你真说有啥用……等真的有本地部署成功并且投入使用的示范机构出来再说吧没落地之前都只是规划而已

哈利洛维奇

安心院静流 发表于 2025-2-26 20:49
今天旁听别人论文（预）答辩的时候看见老师电脑里已经有建立“AI赋能教学研究中心”的通知了虽然我也只是瞟 ...

五角大楼有员工用deepseek被查到了

狭义文具爱好者

如果之前需要弄gpt但是涉密不能用的，那就需要，如果之前没这个需求，那就不用

kouym

前面提的高校就算了 我今天开的会是 中小学都要本地部署满血版。。。

爱莉希雅

671B买谁家的卡啊，老黄还是华为，8张H100可不是小钱

爱吃冻鳗的猫

这些的电脑跑的动吗？打开个工作表都能卡

titians

找借口花钱啊

中已矣

省级搞一个就不夸张了，每个市是没必要

人畜无害沃特碧

中已矣 发表于 2025-2-26 21:57
省级搞一个就不夸张了，每个市是没必要

然而我朋友是县级的单位

luffyzhou

AI赋能教学这个在DS去年底火之前超星智慧树这些平台就开始整了，还是比较有用的

Herreimu

有一说一，魔改48g4090 8卡能跑r1量化，仅需20w

精钢魔像

反正又不用你出钱不是。本地部署还能涨点经验。
有硬件后弄个RAG，慢慢喂数据，半年一年后应该就能出不错的成果了。

鸳鸳相抱

Wiksy 发表于 2025-2-26 20:56
实际上凑个1TB内存然后用KTransformer跑满血版ds可能还真不用太贵？

然后多几个人提交对话就服务器繁忙吗？单显卡的token输出速度够几个人糟蹋啊？

YetToCome

挺有必要的，政府不干这事，大模型技术怎么最快速度普及到基层

—— 来自 鹅球 v3.3.96

zichuann

中央出一个政府版内网用可不可行

tonyshva

还好吧，市里花100万夸脏个啥，但是街道都本地部署的要来力

论坛助手,iPhone

坏掉了

我单位内网deepseek服务器是从垃圾堆刨出来的，2019年时有个AI公司说做测试业务，放在我们单位2台计算4U机，后来这家公司人员变动太大，把这两台服务器忘在我们局了，机器吃灰了5年。配置 双路E5 V4 20，nv P4*8，256G内存
前两天装了个win10，装了ollama，docker和openWebUI，用在内网上
跑70b速度很慢，思考和解答的速度大不多是1个字/秒，换成30b速度是2个字/秒，最后降到14b，速度勉强可以接受了

黑哥啥时改密码

我的头很疼 发表于 2025-2-26 20:52
全员捧臭脚，发几篇政务信息之后再没有实际效能了。

哈哈哈哈哈哈
政务信息其实也帮不了什么大忙

百度一下现在落地的政务功能就知道，deepseek能做到的，之前已经有很多地方在做了。 就是这玩意目前撑死了只能做一个ai客服。这个是落地最好的功能。

其他的有一个算一个 都是蹭热度，结合现有业务用来写几篇吹逼的政务信息就没了。

当然，最大的好处是带动了各地学习使用ai的风潮。这个之前很多地方是没有意识的。ai用来做高级搜索引擎其实是不错的。

黑哥啥时改密码

老实说，目前这股劲头用来搞国产电脑优化，现在国内cpu和gpu的软件生态估计能前进不少。不至于到现在办公室所有人都嫌弃。

Lorraine_Kinney

央企内网部署一个还是挺方便

icewolf01

涉密的话内网部署一个辅助办公或者辅助分析好像还真不错

Misono_Mayu

很多信息你以为要有密级是干嘛啊？有些数据是涉及个人资料以及后期大发展的路线的，喂进去被流出来是要出事故的，这也是为什么盒狗不接盒公务员的原因

jeokeo

中已矣 发表于 2025-2-26 21:57
省级搞一个就不夸张了，每个市是没必要

这你就不懂了，你不花钱，你不画饼，史密斯专员怎么追求进步？

NBNB

实际上之前很多地方写材料都有用ai输出做参考的，现在各单位年轻人很多吸收新事物很快，省级单位的政务软件统一搞一个（比如广东的粤政易）确实是很有用的，起码年终各种个人总结省事了

schneehertz

不是满血版就一玩具

StrangerJ

政府有必要，地方政府没必要

iCow_X

央企搞一个也太看不起人了，现在各个都要政绩，什么总部各部门，各子公司各分公司全都要自己搞一个。你但凡用了别人搭的，出了什么成果都算不到自己头上

—— 来自 vivo V2307A, Android 15上的 S1Next-鹅版 v2.5.3-play

Steel.Haze

有必要，而且他们大多有闲置服务器，改造下，跑个14B～32B模型配个知识库足够满足部门查询资料了，没准还能弄个AI客服。

央企？央企每个区部门都应该搞一个，央企自己应该搞自己的统一蒸馏版本和知识库，定期D给地区部门。

比如华润就有实体企业3077家，其中上市公司18家，员工39.2万人‌，内地港澳海外业务都有。你考虑下这个已经是微型国家级别的跨地域企业，得配多少AI算力体系辅助。

过几年，你的个人终端上就会有本地AI模型和能和你语音语意沟通。我现在也准备拿着预定的幻X配制一个语音交互的本地AI。本地AI是可以高度个人定制的，这对用户其实是必不可少的。未来就是个性化本地AI执行和你的沟通和日常任务，然后也可以通过本地AI实现AI对话也可以接驳一个超级云AI去指代复杂任务，然后告诉你结果。

Illidan

很多地方23/24年一窝蜂搞了一堆算力

这算是用上了

人生如戏

有必要的，很多数据都只能自己喂，调教一个自己当地版本，以后做事会方便。
而且还真有白痴会上传涉密的文件来做的，今天就碰到个拿普通U盘放秘密件随身带，还tm随便插，被保密软件检测到的

Fuuki

一两百万够了，十个并发肯定比那硅基快
就是不知道能真正用上，好用的场景有多少

濡鸦之羽_

国产AI有安全性，采购硬件自己用是一件很合理的事情，比给电脑换国产系统靠谱多了吧。这边需求上来了，芯片那边也有动力搞了