企业/地方政府有必要本地跑deepseek吗？

fgdgf404

我局前几天70b就部署好了，然后大数据发了个通知让各家建言献策

电话微波炉

若最理想的情况下，应该是当做网络基础设施来做。从各个大学先开始。
养成使用习惯了，大学生毕业了无缝接入，提高办公效率。
对于普通小微企业来说没必要。买大厂api够了。
涉密等级高的政府要用就必须做吧，有一些物理隔离只能用局域网的，只能本地部署了。

大语言模型要如何做安全合规，网络安全法应该要出更多具体规定。

Sza

你这个问题很有探讨的价值，其实可以问问deepseek。我个人觉得管理层的角度看避免不了本地部署，长期租民企服务的话或许记账会麻烦，保密对领导来说也是多一事不如少一事，领导应该不会只算经济账。而从经济角度看，这种过热投资也等同于给高科技行业的补助，我估摸着害处相对有限。

额，这个问题被deepseek限制了，得想办法绕过才行

五块钱也是钱呐

蹭热度而已，正如YM 中所说，如今政府以专栏长度论成败了么？其实都一样的

Min_FOrder

泥潭一边觉得一个ds顶10个公务员好似，一边觉得政府自家部署ds没意义，也算看懂了，思路和可口可乐广告评论区也没啥区别

人畜无害沃特碧

Min_FOrder 发表于 2025-2-27 07:49
泥潭一边觉得一个ds顶10个公务员好似，一边觉得政府自家部署ds没意义，也算看懂了，思路和可口可乐广告评论 ...

你可能没仔细看主楼，我问的是花大价钱本地部署一个弱智版有没有意义，如果能有70b版我举双手双脚支持

—— 来自 鹅球 v3.3.96

Prolun

本地部署，买来的是资产，还能吃回扣。
买API那就真是买了。

都是好事

人畜无害沃特碧 发表于 2025-2-27 08:09
你可能没仔细看主楼，我问的是花大价钱本地部署一个弱智版有没有意义，如果能有70b版我举双手双脚支持

...

70b不也是弱智吗

小妻水亚美

黑哥啥时改密码 发表于 2025-2-26 22:44
老实说，目前这股劲头用来搞国产电脑优化，现在国内cpu和gpu的软件生态估计能前进不少。不至于到现在办公室 ...

我们单位感觉都没什么应用场景，领导都说要用科研经费采购点gpu服务器。

—— 来自 OPPO PGFM10, Android 14上的 S1Next-鹅版 v2.5.2

蜇灵

大型企业和政府部门有保密要求吧，所以只能自己部署

Steel.Haze

都是好事 发表于 2025-2-27 08:29
70b不也是弱智吗

做一般查询文书是没问题的。而且70B现在其实可以常规个人设备单机部署的上限。

tomatoKnight

人畜无害沃特碧 发表于 2025-2-27 08:09
你可能没仔细看主楼，我问的是花大价钱本地部署一个弱智版有没有意义，如果能有70b版我举双手双脚支持

...

70b不需要很大价钱啊，10万

GMJ

1.对企业来说100万不是什么大钱，如果是对政府机构来说就更不是了
2.预算花不到一定比例是影响到明年预算批准额度的，更何况砸deepseek也不算浪费预算
3.哪怕只有1%需要保密也是值得的。
4.就你这么个虚构场景替换，多问几次后大数据很快就能总结出你的真实单位信息。

都是好事

Steel.Haze 发表于 2025-2-27 09:04
做一般查询文书是没问题的。而且70B现在其实可以常规个人设备单机部署的上限。 ...

deepseek r1 32b和70b区别真不大，那要跑跑个32说实话无所谓

GMJ

中已矣 发表于 2025-2-26 21:57
省级搞一个就不夸张了，每个市是没必要

你也太高估了，现在网上一堆自己个人在折腾弄本地部署的。。这玩意以后最好的的发展也是算力足够后，依托个人终端，每个个人都能有专属自己的蒸馏模型实现本地部署，甚至你买手机出厂就有给你部署好的。你把个人数据导入一下就是你专属调教的了。

连个人数码爱好者都要玩本地部署，那我猜街道社区级是最下限，哪怕是部署的蒸馏模型。
不知道这些能不能实现异地组网和分布式计算，如果可以的话，设备算力共享，数据不共享倒是能更实用点，毕竟光靠本地需求，计算资源不可能一直拉满有点浪费

mp5

70b并没比32b的强, 还不如直接用32b的, 费用能省一大截

bbz812

去搜一下各家云厂商的deepseek一体机，就知道这种本地部署的需求肯定不少。

pmoe

部署得那么快，少不得是使用了传统技能“利旧”，成本没那么高，流程也少。

Steel.Haze

都是好事 发表于 2025-2-27 09:11
deepseek r1 32b和70b区别真不大，那要跑跑个32说实话无所谓

是的，不过70B和32B说的内容明显有一点点区别，倒是32B和14B几乎没差。

棒读

别的不说，兄弟省份兄弟县市都部署了，你不部署，是不是想躺平？所以只要有一家干了，其他肯定一窝蜂上去。当然了，你们也是熟读小队长文学了，对于大多数地方来说这事的宣传价值远大于实用价值，就跟无纸化办公搞了这么多年了结果很多地方还要搞纸质+扫描两套材料一样。AI辅助政务这块最有可能搞出来的是浙江，但是对ds部署宣传浙江的反应却相对冷淡，有些小地方的调门却很高，给人感觉懂的人不敢说，越不懂胆子越大……当然有些地方反正也没什么可以失去的了，放开了吹也没啥后果

ctss1

我来指条路吧，8卡机的价格和性能都正好满足楼主需求，产能和交付是否及时就得问问了

尼曼兔

建立本地知识库做检索和答复还行

都是好事

Steel.Haze 发表于 2025-2-27 10:06
是的，不过70B和32B说的内容明显有一点点区别，倒是32B和14B几乎没差。

因为14 32都是蒸馏qwen，70是蒸馏llama的

自賠ニャン

不涉密也不代表可以随便传到公共互联网上，至于这个涉密的理解就更搞笑了，你要不试试把虚构地名的涉密情报卖出去看看犯不犯法

Aquila4869

因为有的东西真不能传上公共互联网啊我们oa去年底隔壁单位被入侵的后果就是全部升级网络安全，不能再用办公电脑摸鱼游戏了，气死。
只要有涉密的不能上公域或者有落地的网络等保要求，对于国企央企zf来说本地部署都是划算的，何况对于整体而言其实也就是从原本打算建的数据中心数据中台里面扒拉一部分算力出去。也还好

论坛助手,iPhone

カドモン

100w
你真是小瞧了兄弟

waterflying

我外行啊，一体机满血版现在基本也就10万左右吧，100万是还有哪些额外支出……

卖哥

waterflying 发表于 2025-2-27 11:00
我外行啊，一体机满血版现在基本也就10万左右吧，100万是还有哪些额外支出…… ...

满血版怎么也得8张H100，同时服务100个用户接入每个20+token/s。

阿宅醒醒

我们区里就搞了个华为算力中心，部署deepseek，说是接入政务平台。

都是好事

waterflying 发表于 2025-2-27 11:00
我外行啊，一体机满血版现在基本也就10万左右吧，100万是还有哪些额外支出…… ...

满血版10w是啥配置？

100w的话，token数高并发高还给你全流程服务和售后，值不值另说。不要用能跑起来就行的思路来想

waterflying

都是好事 发表于 2025-2-27 11:05
满血版10w是啥配置？

100w的话，token数高并发高还给你全流程服务和售后，值不值另说。不要用能跑起来就 ...

前几天在百家号还是微信公众号里扫了一眼留下的印象
刚才搜了一下，类似“据报道，澎峰科技推出了业内首款万元级别满血DeepSeek智算一体机Deep Fusion DF100，售价仅为9.9万元，性价比极高”这类文字
我完全不懂，这种10万元的机器是只包括了部分硬件的意思吗？还是说虽然号称满血实际低配很难用？

都是好事

waterflying 发表于 2025-2-27 11:22
前几天在百家号还是微信公众号里扫了一眼留下的印象
刚才搜了一下，类似“据报道，澎峰科技推出了业内首 ...

在硬件方面，Deep Fusion DF100目前采用英特尔CPU+消费级GPU的搭配，提供1700TOPS算力，推理速度为15tokens/s，内置512GB DDR5内存、4TB硬盘。

15token/s基本就只够一个人用了

人畜无害沃特碧

今天又打听了一下好像真的有8卡H100还是A100，我突然又充满了信心。
之前一直担心史密斯专员搞个弱智版吃回扣

ctss1

人畜无害沃特碧 发表于 2025-2-27 11:53
今天又打听了一下好像真的有8卡H100还是A100，我突然又充满了信心。
之前一直担心史密斯专员搞个弱智版吃回 ...

那就不是100多万拿得下来的了

elflie

那还是有必要的，你上互联网那保密还做不做了？

塔奇克马酱

多少地方早就在大干特干数字城市，千万预算都烧出去了，还差这点钱？本地化deepseek可比什么狗屁的数字城市有用太多了。

—— 来自 鹅球 v3.3.96-alpha

GStar

眼巴巴地等着本地部署呢，很多材料根本不许也不敢上传互联网

论坛助手,iPhone

tylunas

需求相当多。我司开年回来客户都在问同一个问题。
领导不要搞什么既要又要就好，首先排除国产化npu，100多万对于用华为部署满血deepseek来说只是个零头。

—— 来自 鹅球 v3.3.96-alpha

小甲暴渔

其实去年好些个地方就在搞大模型项目了，因为太多了省厅还严格限制这方面的项目来着的，晶哥内网还挺需要的，因为是内网环境用这个结合案件侦办平台，能节省精力还能让人快速上手什么的

七音骨笛

说实话虽然chatgpt出了好几年，但是deepseek出了之后国内真的是跑步进入ai
虽然现在各地都在搞，看起来乱哄哄的，但是按照经验，很快就能卷出来很多意想不到的应用层面