蒸馏版接口 => CerebrasUnofficial

最近Deepseek R1很火，出圈首先是因其成本论述引发英伟达股价下跌而受到关注，之后以其独特的攻击性，再次带动了传播。

我实际体验了一下，说实话，感到一般。

我关注的几个问题：

  1. RL（强化学习）涌现CoT（思维链）？效果如何？
  2. 成本削减多大程度可以复制？
  3. 蒸馏进Llama后效果怎么样？

一、关于CoT（思维链）

我测试下来，效果和Gemini比，差了很多。Deepseek不像是think，而是在understand。

关于CoT我最先接触的是gemini-2.0-flash-thinking，觉得很有意思。当时我在解决一个网络问题，模型的thinking让我看到了它的回溯过程。
类似这样：「用户遇到了XX问题，XX结果说明XX没有问题，再看XX可以排除是XX问题。这也许是XX问题，但是从XX的结果看，问题应该也不在这里。这个问题很奇怪，最好再确认一下……（找不到问题，绕回来要求用户检查）」
虽然最终问题没有解决，不过整个CoT很有逻辑，我也学到了一些东西。

Deepseek给我的感觉不是这样，它更倾向于对输入进行复述。比如说，它会对我的要求分类汇总，然后写出需要遵从、注意的点，整体就是像是润色和扩写prompt，体现不出逻辑推理本身。（顺带一提，它有时还会不按think的内容回应，就好像无视了think过程。）

举个具体的例子，例子中的真实对话大约有17K tokens，这是一个比较长的上下文。内容关于一个盗贼角色，该角色被设定为喜欢“黑吃黑”，经常在交易时击晕交易对象，这次他要交易的是情报线索。「击晕」在这里实际上是陷阱，由于情报的特殊性，对方被击晕就无法说出情报了。

Deepseek在长上下文中表现出一定的混乱，从think阶段就经常搞混身份（很多模型都有这个毛病）。逻辑上，Deepseek也常常意识不到陷阱（中间重试多次），击晕对方后直接退场的几率很高。相比之下，Gemini几乎可以稳定发挥，在think阶段就能意识到需要先套取情报，再进行击晕，或者直接放弃击晕。

Grok、Qwen几乎不会出错，不过没有think过程，所以无法进一步判断。

二、关于成本

有兴趣的可以先了解一下友商零一万物 的文章，Deepseek用到的大部分的方法其中都有提到，包括MoE的优化，整体算是科普向。

Deepseek首次在超大模型中使用了混合精度，重点是给出了哪里可以省精度，哪里又不能省。这个属于「我的成功可以复制」，是很重要的贡献。

还有一些是不能复制的，比如说Deepseek训练框架，通过很底层的魔改，实现了更高的并行效率。这种魔改已经接近汇编了，独此一家。
题外话，有传言说Deepseek绕过了CUDA直接驱动显卡，这种能力可以立刻迁移到其他硬件，从而打破英伟达的垄断。这个说法是错误的，具体就不展开了。

这次成本很大一块是通过「CoT可以靠GRPO+RL涌现」来缩减。简单点说，就是不需要标注，直接告诉模型答案，但只能解决已知答案的问题，例如 数学问题，而RL达成了泛化（事实上对于没有答案的问题，还是加入了一定的SFT（监督微调））。我对此表示怀疑，目前Huggingface的团队正在尝试复现，可以继续关注。

Deepseek R1的创作能力排行已经超越Claude，表现在它很有趣、很会阴阳，这和语料是分不开的。实际上R1最后还是经过了两轮SFT，这个成本不仅省不了，而且对语料要求还很高。为了突显CoT部分省成本，这个成本被隐藏了。

还有一些推理方面的成本，不算很重点，略去。

三、蒸馏的效果

这里我使用的是Cerebras提供的deepseek-r1-distrill-llama-70B版本。
作为测试，我做了一个非官方接口。具体的部署方式，查看项目主页即可，此处不展开。

我对蒸馏效果的印象是：形似，但继承了各自的问题。

测试文本大约有15K tokens，此时模型大部分时候还保持think（有时会输出<think></think>省略思考），但很大概率会重复用户的话。这种重复几乎就是逐字逐句，整片大段的重复（这是很多模型在长上下文场景中的通病）。
总结就是，蒸馏版既有Deepseek think等于没think的问题，又有Llama 70B重复的毛病。当然，意义是把CoT迁移到小模型，对需要本地部署的人来说比较重要。

四、商业影响

Deepseek最重要影响是引发行业对成本的关注。从投资角度看，Deepseek冲击的是FOMO情绪，利好除了英伟达以外的所有巨头。
为什么说只利好巨头呢？因为从技术角度看，很难带来大规模的成本下降，也谈不上威胁英伟达的地位。要想实现人人有丹炼，短时间内还不太可能。

五、其他

自动Deepseek火了以后，本地部署Deepseek的文章、视频突然冒出来，这类内容大部分介绍的是完整版R1，实际部署的是蒸馏版，有些甚至是7B以下的超小版本。要知道，一个完整版的R1，在Q4精度下，大约需要400G的内存/显存。这种宣传和诈骗有什么区别？如果真的需要迷你模型，这个尺寸有非常多的选择。

我的建议是，个人用户不要尝试自己部署任何版本，真想用就用官方API。或者，用英伟达的NIM接口，每号1000次对话，可以无限注册。