关于美国某AI公司指控国内厂商“蒸馏”的事!
来源:峰回路转本人
我先用最通俗的比喻解释一下发生了啥。
我们把AI大模型类比成车,那么,它也有很多的类型,从玩具车到高铁,理论上都可以叫做车。
美国某所谓AI巨头,大家可以想象为一家造高铁的公司,它们对外的叙事是,谁能装的多,谁就更加先进。
这个叙事的逻辑足够简单,和“金融界”人士的智商较为匹配,所以就成为了当今的主流叙事。
按说这也没啥,做生意,搞钱,各凭本事,讲故事也是一种本事,谁说不是呢?
但是这个叙事从某年DeepSeek R1开始,遭受了巨大的挑战。
因为DeepSeek虽然不是“天下第一能装”,但价格也太低了。
这就好比说,某个公司造出来一种售价是高铁1/10的车,但载客量接近高铁的80%,速度也差不多。
这还没完,人家还把很多设计思路写成文章发表出来,细细解释为啥可以这么便宜,这么快,还不太损失性能。
这就带来一个巨大的叙事漏洞:某美国公司完全无法解释“性价比”的大幅度落后。
注意,金融界人士,虽然认知能力有限,但还是有一点点逻辑思维的。
他们起码可以明白,性价比也是一种能力。如果性价比不强,你的能力也是值得怀疑的。
一家公司,号称自己全球实力第一,和仅仅是“能搞最大规模的模型”,其估值差异恐怕不是十倍八倍吧?
因此,某美国公司面临一个难题,哦不,两个难题:
1. 它必须解释,类似 DeepSeek 这种公司,凭啥做得出极致性价比的产品
2. 它也必须解释, 自己为啥做不出。
由于DeepSeek的论文是公开的,某美国公司组织内部工程师连夜啃论文,最终发现,就算是抄论文,也做不到DeepSeek的效率。
因为人家论文只是描述了整体思想,并没有公开所有的工程细节。
这就好比一个建筑大师在电视里面讲述自己设计一座摩天大楼的理念,不等于各位看了电视就能成为建筑大师。
OK。看不懂,学不会,咋办?
换个思路,抹黑DeepSeek,如果证明对方“不好”,四舍五入自己就好了。
典型西方竞争思路。
因此,抛开人家的论文不谈,抛开人家模型风格迥异的思维链不谈。就说它是“蒸馏”。
这么一来,很多叙事逻辑就通了。
为什么DeepSeek便宜?蒸馏的。
为什么DeepSeek突然能力上来了?蒸馏的。
为什么中国出来好多个AI公司?蒸馏的。
那你问了,证据呢?证据就是,有中国人使用美国的AI服务。
对的。你没听错。这就是人家所谓的“证据”。
这流氓逻辑就好比:中国有西餐馆,中国人也吃西餐,所以中餐是模仿西餐的。不然怎么这么好吃呢?
其实照我说,如果“金融界”朋友的逻辑能力,可以超过幼儿园水平,达到小学水平,那么不妨思考一个问题哈
若是蒸馏这么好使,为什么美国公司自己不蒸馏呢?是不喜欢高性价比吗?
既然DeepSeek这类中国AI企业获得的流量这么大,吃掉好大份额。而且只是凭借“蒸馏”。那美国公司为什么不自己占有这些份额呢?
该不会是,美国公司其实也试过蒸馏,只是发现蒸馏的效果不及预期吧?
玩笑归玩笑,顺便给各位科普一些正经的业内知识。
啥叫蒸馏呢?你可以理解为,让一个空白的大模型,大量阅读一个已经训练好的大模型的“问答记录”,从而对这个空白模型进行“初始化”。
这个技术可以极大降低训练的冷启动阶段的成本。
这也不难理解,就好比各位要学习新技术,是不是第一步都是模仿前人?
但是要让模型真正具有干活的能力,最主要的步骤,是让模型在一个“执行环境”中海量操练,可以理解为“实操训练”。
简单地说,蒸馏是一个让新模型在极短时间内,知道解题大致是个啥姿势的过程。但后期的训练才是让它从新手真正成为高手甚至大师的过程。
那么,大家觉得中国公司的模型,是不是“蒸馏”某美国公司呢?
这么说好了,“理论上”是可能的,但现实中可能性基本是零。
因为蒸馏需要极其庞大的量,以及极多的‘细节’,主流公司都是用自家上一代模型去蒸馏下一代。
这就好比一个公司让老员工“带”新人。就算你隔壁公司实力很强,你也不会安排新人自己去隔壁偷摸观察然后自学成才吧?
而且蒸馏这个步骤,在整个训练过程中的重要性非常低。完全不是最终产品能力的决定性因素。
这就是为什么国内AI界研发人员的解释听起来是这样:“蒸馏其实是整个业内公认的一种技术手段...”
咱不得不承认,论“讲故事”,咱们的人和西方世界,还差了一个文艺复兴。
中美两国的AI逻辑完全不一样。
美国是“叙事驱动”,钱来自于投资人的信仰,咱虽然对于他们那套“蒸馏叙事”表示极度恶心和鄙视。但咱也要客观说一句,这是一个非常有效的叙事。完美匹配投资人的认知水平。很好支撑了美国AI的估值逻辑。
中国是“场景驱动”,钱首先来自于客户,然后才是投资人的信仰。
中国走不通美国路径,原因有二:企业不擅长编故事,以及国内投资的脑子比较活,不好骗。
所以国内主流是展示业绩,比如,这家说咱的模型很多汽车用了,那家说咱是日常聊天搭子这个赛道的大哥大,等等(各位不要对号入座哈)
为啥要公开论文?因为国内是理工男主导,最有说服力的就是把“技术讲清楚”。
为啥不能单纯地追求“最大”?因为要适配具体场景,性价比永远是最重要的。
比如你跟车厂谈合作,你说哥们我这个模型能做数学奥赛题,车厂的人会说“好强啊,你给我滚”。
美国那边是,你跟一帮没学过几天数理化的“投资人”说,我这个模型能证明数学命题,数学这么难都搞得定,还有啥不行?超级智能指日可待。打钱来。“投资人”回忆起来当年学习数学的情形,心想,果然牛逼,果断打钱。
未来很多年会保持这样一个竞争格局。
美国负责“领先”。中国负责“落地”。
哪天美国AI故事要是撑不住了,到时候就说“全赖中国蒸馏”,也算是给投资人有了个交代。
突然想起来,多年前在美国跟着一个大佬打杂,帮大佬起草了一个PPT,被大佬直接狂批一堆。内容翻译成白话就是:
你这厮的PPT,全都是实话,成何体统?

