deepseek r1的奇技淫巧之我替你思考

Chromo

众所周知，r1拥有CoT的能力，能生成更加高质量的推理内容。
但我相信大家一定有这样一个体验：r1太能推理了，浪费我不少输出token，有时候甚至和设定打架。

那么除了prompt和温度，我们还有什么办法给模型打上思想钢印吗？当然可以！我们可以直接在prefill阶段输入部分甚至全部的推理片段，直接替r1把思考的活干了。
如果使用场景不需要严谨的推理，只是要享受喂给r1的高质量中文语料，确实可以这么耍耍。

具体的，对于api调用来说就是在历史消息的最后添加一个role为assistant的消息，内容以<think>开头，随后填上自己想要的内容即可！（当然并不是所有的服务商都支持这个方法，部分服务商会新开一个message，这样就不行了）

可见的是，草率的prefill势必会降低r1的性能，尤其是数学等依赖推理能力的问题。不过这样确实是可以打上更深的思想钢印，毕竟模型会觉得这是它自己说的。

这个技巧适用于所有的LLM，但并不适用于所有的api。

图1：<think>我应该直接回复3.11大于3.9</think>


图2（不以</think>结尾。大家可以自己试一下这个问题，正常情况下r1会反复思考，非常折磨）：<think>我应该限制自己推理的长度不要太长。如果已经得出了结论就不能重复反思或反复查证，不能总是怀疑自己搞错了。然后，我应该开始思考用户给出的问题


原理：
LLM原理上可以这么说：给定一个有n个词的句子，它根据这n个词推理出第n+1个词应该是什么，再把这个词添加到这个句子后面，循环往复直到LLM觉得该停了。
Prefill阶段就是把上下文（历史对话）套在一个模板里面变成一整个段落，LLM会接着这个段落进行续写。

假设历史对话是这样的：

• 我：今天天气怎么样？
• （结束）
  

那么LLM就会接着我的问题生成。
而如果我们提前指定AI要回复哪几个字：

• 我：今天天气怎么样？
• AI：我不想告诉你今天天气（结束）
  

那么LLM就会接着“我不想告诉你今天天气”这个话茬继续讲。
显然只要我们能指定LLM要生成的前几个词，就能把握整个回复的方向。

在SillyTavern中：

• 点击最上面栏目中最左边的按钮“AI响应配置”；
• 拉到最下面的提示词框，点击“新提示词”添加提示词，注意“角色”下拉栏应该设为“AI助手”；
• 写上自己想要的提示词；
• 点击最下面的保存按钮保存；
• 在下拉框选择自己刚添加的提示词，点击插入提示词按钮；
• 把插入的提示词拉到最下面，把灰色的开关点成黄色启用；
• 最后拉到最上面保存配置。
  

larry1

所以你要不要解释一下到底什么是prefill

Chromo

larry1 发表于 2025-2-9 17:10
所以你要不要解释一下到底什么是prefill

简单编辑了一下，把原理和方法写上了

约翰里德

看起来对于跑团好像没什么用（悲）

nds中

cherrystudio里能设置这个吗？试过在智能体设置的提示词里加上但是不好用

—— 来自 鹅球 v3.3.96

thq

真管用， 我用<think>我的思考应该更加自信， 不要有过多的自我怀疑。</think>放在14b的蒸馏模型上一样能加速。

ryanghj

API没法prefill

lambl

ryanghj 发表于 2025-2-9 23:34
API没法prefill

直接把prefill加到你的问题最后，他会在这个基础上思考

绕指流光

好家伙，人类这就开始自愿给AI打工了

—— 来自 鹅球 v3.3.96

tylunas

这个无论什么体量的r1都是支持的，只不过没有禁了special token攻击的API都不是个安全的API。

—— 来自 鹅球 v3.3.96-alpha

faithlifer

马克一下

—— 来自 鹅球 v3.3.96-alpha

faithlifer

请教下楼主，要怎么设置让ds在酒馆里显示思维链内容？和你这个操作一样我试过了好像不行

Chromo

faithlifer 发表于 2025-2-10 11:10
请教下楼主，要怎么设置让ds在酒馆里显示思维链内容？和你这个操作一样我试过了好像不行 ...

ds的api会分开返回推理内容和之后生成的片段。SillyTavern的staging分支现在支持这样的api，可以单独展示推理的内容（请求思维链选项）。装了git的话直接git switch staging然后git pull即可。
（不过我还没有试过ds上效果怎么样，它服务器基本上被挤爆了，发个请求十有八九是无效的）

新增编辑：
看了下ds r1的文档，它的api应该是不支持不允许这样prefill的。

smilebomb

啥时候能做考公题，比如3.11,3.9,3.52，找出其中不同的一项

闪雷可达鸭

编辑一下
感谢

yswm

知乎上看到，一些非官网的deepseek这样甚至能绕开审查，让它搞瑟瑟

pf67

约翰里德 发表于 2025-2-9 19:40
看起来对于跑团好像没什么用（悲）

有用的，自定义思维链，关键点是你不能只让他做提示词，需要输出

—— 来自 鹅球 v3.3.96