本帖最后由 Fuero 于 2025-1-29 12:10 编辑
本地部署671B的最便宜方案是不是买几台64G的Mac Mini M4，算了下10台差不多15W
推上有个用4bit量化的，用8台就能跑
本帖最后由 泰坦失足 于 2025-1-29 12:03 编辑
best32167 发表于 2025-1-29 10:20
一台插满内存通道的大内存裸金属服务器
（虚拟服务器不行，别的虚拟机会抢内存带宽）
这是10万元上下能实 ...
不知道两台连接的256g nvidia project digits够跑量化版不。现在的就差一点就能量化到128G了，不过考虑到输入输出token本身也要显存，还是双128G最好。project digits的风评也从完美的小黑盒，变成了大家反应过来带宽和核心数都不行，只有个大显存带宽。但是ds r1这个moe激活的权重少，要的就是随时有权重在显存待命。显存/内存来回传输还是影响速度，风评是不是又回来了，继续利好英伟达。谷歌那个TPU之前还轰轰烈烈的，逐渐也没消息了，有段时间大家都觉得谷歌又有自己的硬件又有自己的软件还有tf生态，colab和google cloud也提供免费的tpu，未来必定是tpu的
泰坦失足 发表于 2025-1-29 11:57
不知道两台连接的256g nvidia project digits够跑量化版不。现在的就差一点就能量化到128G了，不过考虑到 ...
个人本地部署还是要指望老黄的东西，没办法
project digits好像只能组双机，所以不是很心动
现在有什么适合超长上下文（文本分析）的ai？需要数百万token。qwen-long审查太严了，发现个minimax-01但试了下比较笨容易出错
有人急了嘻嘻
moekyo 发表于 2025-1-29 11:47
有个很好玩的，Qwen又发布了新的基于moe的Qwen 2.5max，说是干过了DeepSeek的V3，已经成为对标的模版了，虽 ...
qwen的网页端好像可以让2个模型联手生成数据？
他家的api现在没有吗？
api偶尔能反应一下，网页版彻底傻了
说是旧的API不能用？但是开放平台维护升级申请不了新的
网页版是不是变傻了？同样的问题几天前和现在细节差了不少
第一次用这类软件，问一下各位大佬，现在网页版是不能用了吗？还有下面的深度思考R1，联网搜索都是什么意思啊？深度思考就是会把它的思考过程也放出来吗，智能程度和不开有区别吗？
现在过年放假了吧，想正式恢复估计得等年后了
是不是用不了了
linchuanwangmou 发表于 2025-1-29 13:07
第一次用这类软件，问一下各位大佬，现在网页版是不能用了吗？还有下面的深度思考R1，联网搜索都是什么意思 ...
不开就是v3，开是r1。联网搜索现在好像用不了，大模型关了网络搜索。
精钢魔像 发表于 2025-1-29 13:30
不开就是v3，开是r1。联网搜索现在好像用不了，大模型关了网络搜索。
难受
我必须提醒一下楼友
目前唯一的deepseek-r1模型，为671b参数量的模型。
其他所有（0.5-70b）模型，均不是deepseek-r1。是老师和学生的关系，学生还没出师。
Ollama用用一个模型下不同tag来命名不同模型闹眼子。
—— 来自 鹅球 v3.3.96
best32167 发表于 2025-1-29 10:20
一台插满内存通道的大内存裸金属服务器
（虚拟服务器不行，别的虚拟机会抢内存带宽）
这是10万元上下能实 ...
我在阿b看了一个cpu跑的，输出有7token。但提示处理只有12token。基本上就是玩具，不具备实用性
moeblack 发表于 2025-1-29 13:39
我必须提醒一下楼友
目前唯一的deepseek-r1模型，为671b参数量的模型。
试玩了一下蒸馏模型基本没有推理能力，泯然众AI矣
想体验R1的强大只能等官方的复活了
本帖最后由 zerona 于 2025-1-29 14:22 编辑
linchuanwangmou 发表于 2025-1-29 13:07
第一次用这类软件，问一下各位大佬，现在网页版是不能用了吗？还有下面的深度思考R1，联网搜索都是什么意思 ...
网页版提供2个版本，基础模式就是v3，它可以开联网模式，你点联网就是v3。
如果你点了深度思考，就是打开了r1 ，r1 不提供联网模式。
现在不能用好郁闷啊。
我短暂用沉浸式翻译的翻译并做了下比较，ds r1的翻译的感觉蛮好的，找的英文文章的词汇转换过来的用词比openai的用词要更意会的多。但这被攻击的没法用了。
希望3天内赶紧好啊，沉浸式翻译太贵了。它那个月付多20。
zerona 发表于 2025-1-29 14:16
网页版提供2个版本，基础模式就是v3，它可以开联网模式，你点联网就是v3。
如果你点了深度思考，就是打开 ...
R1 可以同时点思考和联网的，只不过现在联网挂了
d瘾犯了哎我去美国人咋那么坏啊啊啊啊
Azcarlo 发表于 2025-1-29 14:21
R1 可以同时点思考和联网的，只不过现在联网挂了
那就是我记错了。哎，反正赶紧好吧。从灵动的小妹变模型了的感觉。
zerona 发表于 2025-1-29 12:25
qwen的网页端好像可以让2个模型联手生成数据？
他家的api现在没有吗？
千问怎么可能没API呢，在阿里的百炼上，貌似有送多少钱来着，在三个月内可用
本帖最后由 linchuanwangmou 于 2025-1-29 14:36 编辑
美国人太坏了，刚开始玩上就服务器炸了
SYL再麻烦问一下各位大佬，怎么把这个AI喂成我想要的性格呢？需要给喂什么东西？
有没有人 知道 一般炸到啥时候能好
linchuanwangmou 发表于 2025-1-29 14:33
美国人太坏了，刚开始玩上就服务器炸了
SYL再麻烦问一下各位大佬，怎么把这个AI喂成我想要的性格呢？需要 ...
喂提示词就行，目前普通用户没有能力把模型微调得更好
—— 来自 鹅球 v3.3.96
linc555 发表于 2025-1-29 14:43
有没有人 知道 一般炸到啥时候能好
公司用了半年多ds了，只炸过这一次，从来没炸过
—— 来自 鹅球 v3.3.96
本帖最后由 tonyunreal 于 2025-1-29 15:01 编辑
moeblack 发表于 2025-1-29 13:39
我必须提醒一下楼友
目前唯一的deepseek-r1模型，为671b参数量的模型。
补充：唯一的那个现在有量化版本
https://old.reddit.com/r/LocalLLaMA/comments/1ibbloy/158bit_deepseek_r1_131gb_dynamic_gguf/
意大利DPA率先向DeepSeek发出数据监督协查要求
中国人工智能新贵 DeepSeek 究竟是游戏规则改变者，还是可能是其对冲基金母公司精心策划的做空英伟达和其他科技股计划的一部分目前尚无定论。 无论如何（也许两者皆有？），DeepSeek 及其大型语言模型已经掀起了一些重大波澜。 现在，至少它引起了欧洲数据保护监督机构的注意。
图片.png
欧洲消费者组织联盟 Euroconsumers 已向意大利数据保护局提交了一份投诉，内容涉及 DeepSeek 如何根据欧洲数据保护监管框架 GDPR 处理个人数据；
意大利数据保护机构 DPA 今天证实，它随后致函 DeepSeek，要求提供相关信息。它指出："意大利数百万人的数据面临风险。 DeepSeek有20天的时间做出回应。"
许多人注意到 DeepSeek 的一个关键细节，即该服务是在中国开发和运营的。 根据其隐私政策，这包括 DeepSeek 收集和存储的信息和数据，这些信息和数据也存放在中国。
DeepSeek 还在其政策中简要指出，当它将数据从 DeepSeek 的使用国转移到中国时，它是 "按照适用的数据保护法律的要求 "进行的；
但欧洲消费者组织（Euroconsumers）和意大利DPA希望了解更多细节，该组织去年就Grok如何使用数据训练其人工智能成功起诉了Grok。
意大利 DPA 在谈到位于杭州和北京的 DeepSeek 人工智能公司时表示，它希望了解该公司收集了哪些个人数据、从哪些来源收集、用于哪些目的（包括哪些信息用于训练其人工智能系统），以及处理数据的法律依据是什么。 它还希望了解中国服务器的更多细节。
此外，它还在信息请求中写道，它希望了解 "在通过网络采集活动收集个人数据的情况下"，"已注册和未注册该服务的用户 "是如何被告知或被告知对其数据的处理的。
新闻媒体MLex指出，Euroconsumers 还强调，DeepSeek 在其服务中如何保护或限制未成年人，从年龄验证到如何处理未成年人数据都没有详细说明。(DeepSeek 的年龄政策指出，它不面向 18 岁以下的用户，但没有提供强制执行的方法。对于 14 至 18 岁的用户，DeepSeek 建议这些年轻用户与成年人一起阅读隐私政策）。
消费者组织和意大利监察机构是第一个对 DeepSeek 采取行动的机构。 他们可能不会是最后一个，尽管后续行动可能不会那么迅速；
今天早些时候，DeepSeek 成为欧盟委员会新闻发布会上的首要话题。 欧盟委员会科技主权发言人托马斯-雷格尼耶（Thomas Regnier）被问及欧洲层面是否对 DeepSeek 在安全、隐私和审查方面存在担忧。 但他传达的主要信息是：现在谈论任何调查还为时过早。
雷格尼耶指出："在欧洲提供的服务将遵守我们的规则，"他补充说，"《人工智能法》适用于在该地区提供的所有人工智能服务。"
他拒绝透露欧盟认为 DeepSeek 是否遵守了这些规则。 随后，他被问及该应用对中国政治敏感话题的审查是否违反了欧洲的言论自由规则，以及是否应就此展开调查。 雷格尼尔在回应中说道："现在还处于早期阶段，我还谈不上调查。 如果存在潜在问题，我们的框架足以解决这些问题。"
linc555 发表于 2025-1-29 14:43
有没有人 知道 一般炸到啥时候能好
现在问题是DDOS规模空前，而且赶上春节假期估计一时半会好不了
best32167 发表于 2025-1-29 10:20
一台插满内存通道的大内存裸金属服务器
（虚拟服务器不行，别的虚拟机会抢内存带宽）
这是10万元上下能实 ...
E5洋垃圾估计能到3token/s？只求运行的话估计华强北神机1w内就能解决
用r1还有必要做模块拆分么？
我之前用gpt做一件事差不多要用3-5个ai，比如做一个设计
①一个ai负责了解需求，针对性给提示词，解决ai沟通问题
②一个负责生成和修改知识库
③一个负责提供设计方向
④一个进行具体的设计
⑤一个把设计转换成落地的内容
上面五个事情，只要不拆开，多来几次就全乱套了
linc555 发表于 2025-1-29 15:43
用r1还有必要做模块拆分么？
我之前用gpt做一件事差不多要用3-5个ai，比如做一个设计
①一个ai负责了解需求 ...
要的。就是ai不乱，人脑也需要模块化来减少负担
linc555 发表于 2025-1-29 15:43
用r1还有必要做模块拆分么？
我之前用gpt做一件事差不多要用3-5个ai，比如做一个设计
①一个ai负责了解需求 ...
上下文有限，deepseek的api也就支持64k
再者r1模型也不是kimi那种对长上下文专门训练过的，如果流程清晰不妨把每个局部都搞到最优后带着结果新开对话
—— 来自 鹅球 v3.3.96
下贱的白皮猪这下真心慌了急了
qwased 发表于 2025-1-29 15:06
E5洋垃圾估计能到3token/s？只求运行的话估计华强北神机1w内就能解决
还是挺慢的，长输入会导致进一步延迟吧。不如看看能不能分散载入到多块魔改显卡上.
Nanachi 发表于 2025-1-29 14:52
意大利DPA率先向DeepSeek发出数据监督协查要求
中国人工智能新贵 DeepSeek 究竟是游戏规则改变者，还是可 ...
有骨气就不提供，爱用不用
开始围堵了啊
afer 发表于 2025-1-29 16:13
有骨气就不提供，爱用不用
美国正对DeepSeek开展国家安全调查
https://news.cctv.com/2025/01/29/ARTIvCocAgx8PlNlP1xy1LZU250129.shtml
美国正对DeepSeek开展国家安全调查
玉渊谭天 2025年01月29日 14:50
当地时间1月28日，美国多名官员回应DeepSeek对美国的影响，表示DeepSeek是“偷窃”，正对其影响开展国家安全调查。就在前一天，美国总统**还称DeepSeek是很积极的技术成果。
扫二维码 访问央视网
—— 来自 鹅球 v3.3.96
吉:说我发送消息过快。这种情况一般要等多久啊
Nanachi 发表于 2025-1-29 16:15
美国正对DeepSeek开展国家安全调查
https://news.cctv.com/2025/01/29/ARTIvCocAgx8PlNlP1xy1LZU250129.s ...
好事，支持撕破脸