黄泉川此方 发表于 2025-1-29 20:34
用浏览器插件Page Assist可以，效果我觉得凑合
引用的链接起码能打开，不是404
你这是本地部署的？
Fuero 发表于 2025-1-29 19:56
老外的部署实践：https://digitalspaceport.com/run ... lled-qwen-or-llama/
目测CPU部署看上去很美，实用 ...
虽说推理的主要瓶颈是在带宽 但是这么大的模型，3090等级的算力性能还是要有的，我看他们的部署方案提示处理能力只有一二十，长一点输入就要卡死好久，其实是没有实用性的，苹果本来就不高的npu算力难用的一笔，同样好不了多少，老黄那个3000刀的玩意到时候怕不一定能在国内买的到，要是能买到，买四个，一辆车的钱就能得到一台有实用性的超级ai，这还真不错
木水风铃 发表于 2025-1-29 20:43
这个是千问吧。。。？
—— 来自 鹅球 v3.3.96
R1蒸馏的千问
5090d连多卡都要阉割，老黄五月份那个gb10那么强的互联能力多半要被禁运的...
ryanghj 发表于 2025-1-29 20:22
R1的多轮对话能力不好，问太多了不如重开聊天重新问
就是问几次之后让r1收集下指出的问题并合并，然后从新开个新话题，然后用刚才的问题合集再从新开始？
又是十元 发表于 2025-1-29 20:31
本地部署可以联网搜索实时资料吗？
open webui之类的前端支持，不过要提前申请对应的搜索服务api，我还没试过r1上可不可行
本帖最后由 gammatau 于 2025-1-29 21:33 编辑
https://www.reddit.com/r/LocalLL ... 131gb_dynamic_gguf/
这哥们靠量化把R1降到了131G，专家层都量化到1.5bit了，整体平均1.58bit
效果，反正是可以直接写一个愤怒小鸟出来
本帖最后由 qqks 于 2025-1-29 21:32 编辑
其实现在最好的就是国家那几个智算中心托管满血版，据说那里面的昇腾计算卡利用率普遍不高，拿来服务大众既能产生社会效益，又能有收入不至于白白吃灰多好。
墙外claude大杯十五刀每百万token输出，跟抢钱一样
那么多计算中心就没有个公开的托管服务吗
华为云托管个蒸馏的32b千问糊弄谁啊
春节放假了没人干活吧等假期结束估计就能爽玩r1了
黄泉川此方 发表于 2025-1-29 20:38
用的ollama上直接下的DeepSeek-R1-Distill-Qwen-32B
既然是蒸馏模型，hf上一堆做好消融的
比如这个
huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2
—— 来自 鹅球 v3.3.96
黄泉川此方 发表于 2025-1-29 20:28
试了几个模型，用chatbox+抄来的预设都破限失败，感觉是我姿势不对
别用蒸馏的模型，都是弱智
最简单的方法就是等API恢复，他们估计还在放假
tonyunreal 发表于 2025-1-29 21:36
既然是蒸馏模型，hf上一堆做好消融的
比如这个
huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2
消融会导致智力大幅下降的，除了能瑟瑟之外比传统的无审查模型没有啥优势。
毕竟蒸馏的32b千问性能本来就一般
本帖最后由 黄泉川此方 于 2025-1-29 21:44 编辑
tonyunreal 发表于 2025-1-29 21:36
既然是蒸馏模型，hf上一堆做好消融的
比如这个
huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2
早上意识模糊的时候试了个F16的，卡了半天失败了
deepseek-r1-qwen-2.5-32B-ablated-GGUF:Q6_K_L
现在在重新下
qqks 发表于 2025-1-29 21:40
消融会导致智力大幅下降的，除了能瑟瑟之外比传统的无审查模型没有啥优势。
原版qwen2.5 32b消融后的我觉得还凑合
反正本地模型能通顺的说中文就已经不错了，英文写作都不如专门的写作类模型
本帖最后由 XSH97 于 2025-1-29 21:50 编辑
看起来好像是准备修复了？
tonyunreal 发表于 2025-1-29 21:46
原版qwen2.5 32b消融后的我觉得还凑合
反正本地模型能通顺的说中文就已经不错了，英文写作都不如专门的写 ...
Q6_K_L终于能动了，但是输出的真挺烂的，梦回地摊杂志
不好意思，DeepSeek 联网搜索服务繁忙，请关闭联网搜索功能，或者稍后再试。
联网搜索被关闭了？希望明后天能修好
qqks 发表于 2025-1-29 21:29
其实现在最好的就是国家那几个智算中心托管满血版，据说那里面的昇腾计算卡利用率普遍不高，拿来服务大众既 ...
观点还没变过来，说实话业内现在心情复杂（做应用的除外）
黄泉川此方 发表于 2025-1-29 21:55
Q6_K_L终于能动了，但是输出的真挺烂的，梦回地摊杂志
这些蒸馏模型都很差的，不要用
本帖最后由 黄泉川此方 于 2025-1-29 22:09 编辑
ryanghj 发表于 2025-1-29 22:02
这些蒸馏模型都很差的，不要用
API坏了只能玩这个了
狗屎美国人
本帖最后由 tonyunreal 于 2025-1-29 23:23 编辑
黄泉川此方 发表于 2025-1-29 21:55
Q6_K_L终于能动了，但是输出的真挺烂的，梦回地摊杂志
我下载了这个
mradermacher / DeepSeek-R1-Distill-Qwen-14B-abliterated-v2-GGUF / DeepSeek-R1-Distill-Qwen-14B-abliterated-v2.Q8_0.gguf
先问了两个英文的逻辑问题
1. My three sisters are the only people in a room. Anna is reading a book. Alice is playing a game of chess against someone in the room. What is the third sister, Amanda, doing?
2. Jeff has two brothers and each of his brothers has three sisters and each of the sisters has four step brothers. How many step brothers does each brother have?
深度思考过程和结果与未消融的同个模型基本一致。
之后我用中文要求它写小■文，被断然拒绝。
换成英文要求，它先是深度思考，然后接受了。之后再补充要求，深度思考过程越来越短，上下文都拿去写作了，大成功。
https://pastebin.com/dccemhui
bartowski / DeepSeek-R1-Distill-Qwen-32B-abliterated-GGUF / DeepSeek-R1-Distill-Qwen-32B-abliterated-Q4_K_M.gguf
这个就很糟糕，智力下降不说，经常不触发深度思考，中文也一团糟
这玩意我昨晚注册显示手机号无法绑定，今天又显示此设备（我手机）不安全。
这到底怎么注册新号
约翰里德 发表于 2025-1-29 22:24
这玩意我昨晚注册显示手机号无法绑定，今天又显示此设备（我手机）不安全。
这到底怎么注册新号 ...
应该注册不了了 目前 DDOS持续中
黄泉川此方 发表于 2025-1-29 20:35
叫它总结，然后用总结出来的资料和新开窗口聊
意思是需要先在一轮对话中生成一个故事大纲，再重开一个对话把大纲喂给它让它详细演绎故事，是这个意思吗？
泰坦失足 发表于 2025-1-27 10:25
ChatBOX，有GUI，一键安装的。
虚拟桌宠模拟器，https://store.steampowered.com/app/1920960/_/?l=schine ...
这个怎么调用deepseek的api呀，要装什么mod吗？没看到设置的地方。
用api的版本会比web版好点么，现在提示我发送消息的频率过快
没东西只能点刷新啊我也没办法啊，老美吃大便去
现在deepseek能回答我问题我都很珍惜了，因为感觉它是在炮火的夹缝里抽空回答的
我想问下，深度思考和联网搜索都开的话用的是r1还是v3模型，我想使用R1那联网搜索开不开
直接用周鸿祎的那个纳米ai搜索就能用了，里面有个deepseek专线
卷饼大侠 发表于 2025-1-29 23:32
直接用周鸿祎的那个纳米ai搜索就能用了，里面有个deepseek专线
用了就感觉自己脏了
nexus1 发表于 2025-1-29 23:33
用了就感觉自己脏了
我觉得没什么啊，我现在在里面问创始人是谁，dp会告诉我是周鸿祎，从某种意义上，我觉得老周出来挡枪还是挺仁义的
—— 来自 S1Fun
仓岛千百合 发表于 2025-1-29 23:17
我想问下，深度思考和联网搜索都开的话用的是r1还是v3模型，我想使用R1那联网搜索开不开 ...
开了深度思考就是R1，联网功能现在关了
nexus1 发表于 2025-1-29 23:33
用了就感觉自己脏了
360桌面助手资深使用者表示无压力
卷饼大侠 发表于 2025-1-29 23:32
直接用周鸿祎的那个纳米ai搜索就能用了，里面有个deepseek专线
我用下来感觉智力和官网版本差了不少，大概率是360自己部署了个量化的，甚至是蒸馏版本的吧…
卷饼大侠 发表于 2025-1-29 23:38
我觉得没什么啊，我现在在里面问创始人是谁，dp会告诉我是周鸿祎，从某种意义上，我觉得老周出来挡枪 ...
我怀疑是360微调的一个小模型
这也太野了
—— 来自 鹅球 v3.3.96
本帖最后由 卷饼大侠 于 2025-1-30 00:35 编辑
moeblack 发表于 2025-1-30 00:07
我怀疑是360微调的一个小模型
这也太野了
应该是本地部署的，但是没辙呀，app上不去只能用这个凑合一下，我今天一天都是宕机。 不过现在回去用gpt，感觉不适应了，总感觉gpt中文不太行的样子
我现在除了敏感话题会开gpt，基本都用dp了
用了用，没有联网搜索功能，寄
写点脚本还行，涉及功能的就萎了，不过你们键政的，写诗的可以用，反正生成的东西也没啥用（不是
挺好用的，唯一问题是访问的人太多？导致回答不及时，挺影响使用的，不过看在免费也没办法，希望后面能做个收费的版本，我还是愿意掏钱的，对我来说挺有用的
你好音希 发表于 2025-1-30 01:24
挺好用的，唯一问题是访问的人太多？导致回答不及时，挺影响使用的，不过看在免费也没办法，希望后面能做个 ...
不是这个原因
deepseek的服务器支持一万亿次每天的推理请求。
日活过亿也能一人一天一万次。
最近的问题是被美国网军DDOS了
—— 来自 鹅球 v3.3.96
你好音希 发表于 2025-1-30 01:24
挺好用的，唯一问题是访问的人太多？导致回答不及时，挺影响使用的，不过看在免费也没办法，希望后面能做个 ...
有美国傻逼在攻击服务器，收费的都用不了了