从蒸馏指控看美国AI行业的焦虑心理
来源:峰回路转本人
发现很多AI文章下面的评论区,一旦提到“蒸馏”,很快就会有两派人互相攻击,但看了一会发现,似乎两派人都不太清楚蒸馏到底是什么东西。
咱们回到当年,OpenAI刚刚拿出来ChatGPT震撼全网的时刻。
当时国内投资圈流行一个说法:咱们中国还是不要追了,差距太大了。
原因是按照美国公开的资料推算,如果我们走模仿的路子,要做出可以和当年的ChatGPT相比的,能够自然对话的AI技术,投资会大到难以想象的程度。
我建议大家记住这件事,记住某大国的“投资大佬”们的产业洞察力。
后来国外的开源AI圈子冒出来一个想法:如果抓来一个底子还不错的基础模型,让它模仿顶尖模型的一组问答记录,能不能以较低的成本得到顶尖模型的能力?
说的通俗点就是,如果让一个成绩中等的学生,拿着顶尖学霸的作业本猛抄,能不能速成学霸?
他们用了极低的成本做了一个实验,然后搞了个双盲测试,就是让一群普通用户在完全不知情的情况下,对比他们训练的速成模型和原本的OpenAI的顶尖模型,结果是大部分人压根区分不出来。
这套玩法,就叫做“蒸馏”。
于是开源社区冒出来一大堆形形色色的蒸馏模型。但好景不长,很快人们发现,这些蒸馏模型大体上只是学会了顶尖大模型的语言风格,就是今天大家诟病的AI味:不管问啥,都给你拆解个1 2 3,我觉得可以称之为AI八股文。
而普通用户很容易被模型一本正经的姿态迷惑。但真的是考察一些硬核知识,就会发现这些速成模型的智能水平根本没有得到显著的提高。
后来有大神发现,如果只是让模型模仿更高级的模型的问题和答案,不会明显提高能力,但是,如果模仿的是推理过程,则会实质性的提高能力。
怎么理解呢?
这就好比你让一个中等成绩的同学,向一个学霸请教问题,学霸不仅仅是说了答案,还把完整的思维过程,甚至思考的弯路都说的清清楚楚。这个中等的同学把整个思维过程模仿下来。然后成绩就真的提高了。
故而闭源大厂为了避免被蒸馏,就把思维过程隐藏起来,只给你展示摘要,甚至只是最终的结果。
这样一来,开源玩家即便有蒸馏思维链的想法,也没法付诸实践。
这时候,圈子里面来了个新玩家:梁圣。
大家应该记得当年DeepSeek R1引起的震动,但对于开源社区有更加深刻影响的是DeepSeek发布的方式。
R1会完整透明的直接把思维链输出出来,并且在协议里面明确的鼓励社区蒸馏R1.
甚至,官方还演示了若干用R1蒸馏出来的模型。
之后一段时间,开源社区就像过节了一样,各类基于小模型底座低成本蒸馏R1的衍生模型如雨后春笋一般冒出来。
如果你了解这段历史,你就会明白梁圣在开源社区里面的声望为什么如此之高。
那么,DeepSeek R1自己的思考能力是怎么来的呢?是通过一种叫做强化学习的过程。
说的俗一点就是:猛猛刷题。
可能是题目刷多了,让DeepSeek有一股子做题家味道,就是“无论如何要把事情弄过去再说”,我一个同事就曾经亲眼目录DeepSeek吐出来这样的思考过程:“这用户根本不懂,我得想办法糊弄过去,然后继续正事”
但是很快人们又发现,这招用来训练小模型很高效,但是对于提高大模型的智能上限好像用处不大。
通俗点说就是,成绩中等的,多跟学霸请教一下有助于学习对方牛x的思维方式,但要成为真正的学霸,光模仿肯定是不够的。
还是要多看,多练。
这所谓“多看”,就是让大模型广泛阅读人类几千年来积累的各种书籍资料,博闻强记。
所谓“多练”,就是刷各种难题,反复地总结经验教训。
某些美国公司为了竞争优势,不惜偷来一些盗版书,然后高喊打击盗版。
说白了就是海盗思维:如果我一个人偷,我就能独占财富。论脸皮厚这块...
为什么他们总是觉得别人是偷的。因为在贼的世界观里面,这世界上唯一获取财富的方法,就是偷。
你富了,你肯定偷的,你说有没有偷我的,有没有,有没有?
AI发展路线上,出现过许许多多的技术,蒸馏只是这许多技术的之一,在现代大模型训练中的占比已经非常的小。
但它在舆论场上获得了远超过自己实际价值的影响力。
这是为什么?
因为它是一块很好的遮羞布。
还记得咱开头说的吗?当年有一批“有头有脸”的所谓专业人士,通过所谓“长期,深入”的产业观察,得出了中国AI“根本不可能赶上美国”的所谓结论。
但实际情况是双方的差距不是在扩大,而是在缩小。
甚至在性价比的赛道上,DeepSeek还实现了反超。
如果没有一套合适的叙事,这帮人的脸没地方放。“蒸馏”就是一个最符合他们需求的叙事。
别管蒸馏实际上是啥意思,技术上有多大用。
你是蒸馏的,所以你不是自己搞的,所以老子当年没错。
说白了,这帮人的认知水平,和那些说国产汽车崛起是因为马斯克开源,属于一个层次。
为什么美国公司现在要宣传蒸馏这张牌。
第一是筛选韭菜,哦不,投资者,通过蒸馏叙事,他们让投资人继续相信他们是“独一无二”的技术领导者,大家放心大胆的投钱。
第二是焦虑。已经砸下去天文数字的资金,且对手在算力上处于显著劣势的情况下,拉不开决定性的竞争优势。
这就好比你开个法拉利,人家开个五菱宏光,跑了N场比赛,双方差距逐步缩小。然后你红着脖子说,你肯定偷看过我的比赛视频了!
蒸馏叙事是一碗有毒的兴奋剂,短期内它的确能让韭菜高潮一把,但也让对手意识到:丫的你不自信了。
顶尖高手之间的对决,最怕的是露怯。一旦一方表现得不再气定神闲,露出破绽就是早晚的事。而高手对决,可能一个失误就可以决定胜败。

