（转型Deepseek交流楼）DEEPSEEK-R1完全可以说是全球第一LLM了

仓岛千百合

OrianaThomson 发表于 2025-1-28 01:56
这楼也发个本地部署

已经本地部署了，试用了一下，为啥比在线版慢很多啊，在线一下就出来一堆字，这个两个字两个字的往外蹦。

32b 电脑配置12400F+3060TI


话说本地部署了怎么让写小黄文，试了一下还是显示政策原因写不了

你知道我的

说是有 600Gbps？

Nintendo新手

网页API似乎修好了，但是chatbox本地api开始无法调用reasoner了

moeblack

仓岛千百合 发表于 2025-1-28 02:30
已经本地部署了，试用了一下，为啥比在线版慢很多啊，在线一下就出来一堆字，这个两个字两个字的往外蹦。
...

你用个1.5或者4b试一试就可以了，你32b太为难你的显卡

gammatau

仓岛千百合 发表于 2025-1-28 02:30
已经本地部署了，试用了一下，为啥比在线版慢很多啊，在线一下就出来一堆字，这个两个字两个字的往外蹦。
...

本地部署就看你催眠术的水平了

仓岛千百合

gammatau 发表于 2025-1-28 02:40
本地部署就看你催眠术的水平了

能举个例子吗？

OrianaThomson

仓岛千百合 发表于 2025-1-28 02:30
已经本地部署了，试用了一下，为啥比在线版慢很多啊，在线一下就出来一堆字，这个两个字两个字的往外蹦。
...

32B还是得配置高点

仓岛千百合

moeblack 发表于 2025-1-28 02:39
你用个1.5或者4b试一试就可以了，你32b太为难你的显卡

请问怎么删掉这个32B的内容在重新下。

yzxmly

仓岛千百合 发表于 2025-1-28 02:30
已经本地部署了，试用了一下，为啥比在线版慢很多啊，在线一下就出来一堆字，这个两个字两个字的往外蹦。
...

应该是显存不够吧.你的GPU没法把整个网络都放到显存里,所以推理的过程中就会不断的有数据在内存和显存之间交换,这个过程挺慢的.

moeblack

仓岛千百合 发表于 2025-1-28 02:43
请问怎么删掉这个32B的内容在重新下。

问R1哈哈哈哈，我今天也忘记了，然后问的r1

yvev

OrianaThomson 发表于 2025-1-28 01:56
这楼也发个本地部署

老黄知道自己的40系能跑671b吗

仓岛千百合

moeblack 发表于 2025-1-28 02:49
问R1哈哈哈哈，我今天也忘记了，然后问的r1

看了一下，听说32B以下模型效果都不太理想...慢就慢吧，请问下，这玩意如果不使用对电脑性能没啥影响吧

moeblack

仓岛千百合 发表于 2025-1-28 03:02
看了一下，听说32B以下模型效果都不太理想...慢就慢吧，请问下，这玩意如果不使用对电脑性能没啥影响吧 ...

我的建议是直接用官方的api，官方api可以SESE的

仓岛千百合

moeblack 发表于 2025-1-28 03:03
我的建议是直接用官方的api，官方api可以SESE的

API现在崩了吗 用chatboxai输入秘钥后跟它说话没反应。

riin2

李开复说他早已预料到

长征5号

以前觉得这种攻击是上不得台面的手段，只有小企业才这么干，结果世界头部企业也这么玩

—— 来自 鹅球 v3.3.96

脸宽

没有接触过酒馆，大家说的酒馆是指这个SillyTavern

—— 来自 鹅球 v3.3.96

泰坦失足

riin2 发表于 2025-1-28 03:23
李开复说他早已预料到

李开复自己的YI都放弃开源了。它那个YI还是第一个支持中文非常好的开源模型呢。后续的迭代更新模型看评分是不错，问题是他闭源啊。开源不如llama qwen （过去的deepseek虽然也开源，但是它太大了，个人/小企业不如买它的白菜价API），闭源不如各**厂闭源API

泰坦失足

https://www.reddit.com/r/LocalLL ... 131gb_dynamic_gguf/
你可以在 2 个 H100 80GB GPU 上载入所有层以 140 个 token/s 的速度。像 RTX 4090 这样的 24GB GPU 应该能够获得至少 1 到 3 个 token/s。
感觉再量化一点就正好能把671b塞进一个project digits, 或者按官方说的，两个project digits连接，达到256G统一内存，怎么都够了.

王苍幻

仓岛千百合 发表于 2025-1-28 02:30
已经本地部署了，试用了一下，为啥比在线版慢很多啊，在线一下就出来一堆字，这个两个字两个字的往外蹦。
...

32b要20G以上显存
我16G显存用的14b，我用32b也明显比14b慢

—— 来自 鹅球 v3.3.96-alpha

凉良

api还没恢复么 这网页动不动不能回答 或者撤回也太难受了

贝多Van

4060显卡试了一下8b，慢得很，1.5b又太弱智，连1.11和1.9谁大，都能回答没有学过。

泰坦失足

https://qwen.readthedocs.io/zh-c ... peed_benchmark.html
32B 参考纯GPU运行int4的最低显存要求是18.94显存。Ollama使用的GGUF，超了不会爆显存但是会载入到CPU内存中，进一步的会载入到虚拟内存中。反正我的经验是只要显存不能全部放下，速度就开始慢了。
除此之外，上下文的长度会进一步加大显存占用
6144tokens 约4200个汉字还是10000个？记不得是乘以还是除以0.7了. 显存需求达到21.09G，14336 tokens 24.67G

jeokeo

OrianaThomson 发表于 2025-1-28 01:56
这楼也发个本地部署

tmd，我显卡渣渣，但是内存512g
没救了只能api了吧

riin2

[img]blob:https://bbs.saraba1st.com/a5cfde17-4913-4333-a240-e64112316bd2[/img]

老马继续暴露无知

riin2

老马继续暴露无知

希望之花

本地部署对比了下32b和14b，还是32b给的答案更符合

所以接下来是租个服务器跑吗，是不是还能炼色图（？）

----发送自 STAGE1 App for Android.

黄泉川此方

网页版对比32B联网
前端用的网页插件Page Assist

阿刚

现在好是好了破甲没用了啊，他开始跳各种提示了

qqks

希望之花 发表于 2025-1-28 05:06
本地部署对比了下32b和14b，还是32b给的答案更符合

所以接下来是租个服务器跑吗，是不是还能炼色图（？）

租到服务器的话跑这个不是更好？

https://huggingface.co/unsloth/D ... eepSeek-R1-UD-IQ1_S


1.58bit DeepSeek R1 - 131GB 动态 GGUF : r/LocalLLaMA --- 1.58bit DeepSeek R1 - 131GB Dynamic GGUF : r/LocalLLaMA (reddit.com)

祸猫

怎么黄文都不分享的，泥潭的互联网精神呢！

—— 来自 鹅球 v3.3.96-alpha

吴怀在

泥潭说有个静香的黄文流传于各大qq群，我至今仍未知道是啥

万恶淫猥手

吴怀在 发表于 2025-1-28 07:06
泥潭说有个静香的黄文流传于各大qq群，我至今仍未知道是啥

我也在蹲啊

Hqchan

现在api的r1好像还在崩着，v3倒是能用了

泰坦失足

阿刚 发表于 2025-1-28 06:06
现在好是好了破甲没用了啊，他开始跳各种提示了

671b的纯血r1已经量化到130多g显存要求了。那些魔改显存显卡可能三块就能跑。moe架构同时激活的神经元少。但是还都得在显存待命，不然生成速度依然受影响。

论坛助手,iPhone

阿刚

啥情况？？网页版能用是因为这个？被夺舍了？？还是说他在演我？这也太奇怪了吧

阿刚

我彻底迷茫了到底是深度思维在演我还是真的说漏嘴了
这是第一个问题我一开始没当回事，然后追问了下
这是第二个问题然后我发现他居然开始忽悠我
第三个问题他直接被打断了深度思考然后我重新发了一下思考内容就没了直接是答案

然后第四个问题他就直接反过来了
我尼玛什么情况啊

Rafale

阿刚 发表于 2025-1-28 08:12
我彻底迷茫了到底是深度思维在演我还是真的说漏嘴了
这是第一个问题我一开始没当回事，然后追问了下
这是第 ...

第一次用吧?多用几个其他家的就习惯了

阿刚

Rafale 发表于 2025-1-28 08:13
第一次用吧?多用几个其他家的就习惯了

所以这个深度思考也是在忽悠人的是吧

bartholo4

都是基于你问题的向量空间概率

—— 来自 鹅球 v3.3.96-alpha