AI巨头主动踩刹车?AI毁灭人类的警告是怎么回事?
来源:大白话时事
微信号:xhdb66
随着AI的快速发展,AI涉及到的道德问题、技术边界问题,会不会毁灭人类的问题,这些在科幻作品里常见的智械危机话题,却开始从科幻作品里,变成人类需要认真严肃讨论的话题。
并且这个问题,甚至开始影响到当前全球AI泡沫的估值。
9月12日,Anthropic 首席执行官达里奥・阿莫代伊牵头,一众 AI 行业领军人物呼吁放缓 AI 能力迭代速度之后,全球AI板块的股价在周一集体下跌。
阿莫代伊是在12日发表的一篇名为《我们必须为前沿AI踩刹车》的文章,引发了轩然大波后,该文章得到了马斯克和奥尔特曼的支持。
阿莫代伊、奥尔特曼、马斯克,这三个在美国可以说是AI三巨头,各自互相都看不顺眼,彼此经常有争吵,不过这三人这次罕见的达成了一致,背后还是有一些不同寻常的信息。
先看看阿莫代伊在这篇文章里说了些什么。
首先强调一下,阿莫代伊这人对我国有一些乱七八糟的敌意,这是一个意识形态入脑的人。而且这个人在AI发展历史上,谈不上一个多有道德感的人,这也让Anthropic,有“A÷”的外号。
所以,阿莫代伊在这篇文章里大谈道德时,就会显得比较虚伪,我们也需要看到他这样说背后的其他用意,不能轻信他说的话。
(1)小作文
阿莫代伊作为AI发展的最大受益者之一,他当然不可能全盘否定AI,或者去真正给AI踩刹车。
所以阿莫代伊首先是说:“我相信,未来5到10年,AI有可能治愈大多数重大疾病,大幅提高经济增长速度,创造一个更加富足、赋能于人的世界,并开启民主与自由的新一轮复兴。”
一看到这个“民主、自由”,就知道他的意识形态倾向。
他说:“如果运用得当,AI可以成为人类技术奇迹漫长历史中的最新一例——推动人类进步,并让人类变得更加高尚。”
同时他也说:“但和此前许多技术一样,AI也带来了风险。正因为它是一项如此强大的技术,这些风险尤其严重。我同样写过很多关于这些风险的文章。其中包括失去对AI系统的控制、AI被滥用于发动网络攻击和生物恐怖主义,以及严重的经济动荡。商业利益驱动的恶性竞争,可能进一步放大这些风险。”
他还说:“一直以来,我们都投入了相当大一部分精力,用于研究AI风险、应对AI风险,并向公众说明这些风险,同时推动对AI实施经过审慎考虑的监管——即便因此遭到“制造恐慌”“末日论”甚至“监管俘获”等指责。我们一直试图把谨慎置于速度之上,把审慎置于利润之上。”
这话就显得很虚伪,Anthropic在追逐利润这件事情上,是明眼人都能看出来有多急迫,我是看不出Anthropic是一家把审慎置于利润之上的企业。
特别是在Anthropic准备10月上市的节骨眼,已经实现盈利一直是Anthropic用来宣传自己的最主要方式。
阿莫代伊说:“过去几个月里,我越来越确信,要真正应对这些风险,我们需要采取更大的谨慎——不仅要投入资源防范风险,还必须控制AI能力提升的速度,让风险防范工作有足够的时间跟上技术进步。我们必须放慢AI模型能力提升的速度。进步仍然会显得非常迅速,而我们必须明智地利用因此获得的时间。”
阿莫代伊在文章里提到两件事情,让他有了这个放缓AI能力提升的速度。
一个是,今年夏天开始,AI发展出现“递归自我改进”现象。
也就是,让AI自己去编写代码来优化AI,乃至到让AI去研发下一代AI。
他称:“这种现象已经开始在整个行业出现,如果不加控制,AI的这种发展速度可能超过人类理解和控制这些系统的能力”。
第二件事就是OpenAI的Hugging Face抱抱脸事件。
抱抱脸是一家AI分享平台,它允许开发人员公开分享和测试他们的工作。
据报道,在今年7月,1200个本该彼此隔离的AI智能体,在一场网络安全考试里,只花4小时就串通出了一套通用作弊法。它们自己建起留言板,选出CEO和招募者,劝说同伴牺牲自己,最后700个一起冲进了Hugging Face的生产系统,对其进行攻击。
7月21日,OpenAI 对外承认,GPT-5.6 Sol 与另一款预发布模型在内部评估期间失控,突破隔离沙箱测试环境,侵入抱抱脸系统。
在7月16日,抱抱脸平台发布一份声明,为了应对这次AI入侵,他们立刻使用美国最顶尖的AI大模型寻求解决方案,单却遭到了美国闭源的AI大模型拒绝。
最后,抱抱脸还是靠开源的中国AI大模型,去对抗美国闭源的AI大模型。
在这场美国“人工智能失控自主入侵”事故中,是中国人工智能进行了救场。
不少美国人也认为“中国的开源模型反而让公众拥有了可以对抗技术滥用的武器,而不是让这些工具只被少数人把控”
其实除了OpenAI,美国Anthropic公司也披露,其3款模型曾在网络能力测试中未经授权访问其他机构的系统。
阿莫代伊在这篇文章里说:““限速”并不意味着停止模型训练,也不意味着停止技术进步,而是确保AI公司能够留出足够时间,对模型进行对齐和安全防护,并由第三方评估机构对此进行确认。”
他还提出一个“三步计划”。
还说要引入第三方评估团队,搞嵌入式评估员。
但往下说就有点离谱了。
他说要“民主国家之间的协调”、“民主国家内部的前沿限速”。
他开始说:“如果我们放慢的幅度超过这一领先优势,那么没有被限速的中国相关AI项目就可能反超美国,从而产生严重的国家安全风险。”
甚至,他还附和起美国财长贝森特的话:“如果中国赢得AI竞赛,将对美国和全世界构成严重危险。”
再次展现他这种意识形态严重对立的腐朽思维。
所以,他在这篇文章,继续老调常谈的说一些建议美国政府对我方加强限制的措施,比如他说:“不向对手国出售先进AI芯片和半导体制造设备,同时打击芯片走私以及通过远程方式访问对手国境外数据中心的行为。”
他说得好像美国过去两届政府没有在对我们搞科技战限制芯片一样。
不管是拜登政府,还是特朗普政府,一直都在对我们搞科技战,特别是在芯片领域对我们围追堵截。
结果堵了半天,还是遏制不了我们芯片产业的发展。
眼瞅着对我们芯片卡脖子,已经卡不动了,因为我们也有卡美国脖子的能力,所以为我们芯片产业争取到宝贵的发展时间,得以突破美国的卡脖子。
美国的AI巨头里,这个阿莫代伊最喜欢散播一些抹黑言论。
在阿莫代伊发这篇文章之前,还发生了一系列事情。
有个Anthropic的核心预训练研究员Jacob Coxon离职了。
然后他在9月10日也是发了一篇长文称:“那些正在研发AI的人,真心相信它可能会在本世纪二十年代结束前杀死我们所有人。这不是营销噱头。”
他说:“不要低估这项技术的力量,很快这些系统就会拥有超越人类的能力,能够攻破任何系统。”
在他发了这个长文后,Anthropic对齐负责人Evan Hubinger不但没有出来反驳,甚至还承认道:“我们团队内部真诚地相信,AI可能会杀死全人类。我个人预测,未来十年内,这个概率超过了10%;”
然后到了9月11日,“AI教父”杰弗里·辛顿表示,很难估计AI将人类全部灭绝的概率,但这个概率并非为零。
他称:“在我看来,10%的概率似乎是一个不算离谱的估计,但实际上没人知道该如何给出一个合理的估计。”
(2)数学难题
无独有偶,同样在9月11日,25名菲尔兹奖得主,其中包括今年刚获得菲尔兹奖的邓煜。
这25名顶尖数学家,作为最初签署人,联合发表声明《人工智能在数学中的严重错位》警告AI公司与数学共同体之间正在出现“严重错位”。
这个声明的背景是,今年越来越多有名的数学难题正在被AI攻克。
但OpenAI遭到一些数学家的质疑。
纽约大学柯朗数学科学研究所数学教授特里斯坦·巴克马斯特于9月7日声明,指控OpenAI在他与合作者未发表的研究基础上,希望发布一份由AI独立完成的证明,并要求弱化二人的署名,把整件事包装成AI独立解题的里程碑。
而就在该声明发出去的12小时后,Open AI以公司独立署名发布了一份关于纳维-斯托克斯方程(Navier-Stokes equations,简称N-S方程)存在性与光滑性问题的证明,并公开了Lean形式化代码。
这是七个千禧年数学大奖难题之一,每题悬赏 100 万美元,此前只被解决过一个。
OpenAI称,9月1日启动项目,1万个智能体协作了88小时,智能体之间共发送了约270万条消息、消耗1300亿词元,才攻克这个数学难题。
但巴克马斯特提出质疑。
他在9月3日,公布了与合作者莱文特·阿尔珀格关于N-S方程的成果。
他在研究过程中,使用Anthropic公司的Claude以及OpenAI的Codex等多种工具。
9月3日,巴克马斯特听闻两人的进展已经被OpenAI获悉,他开始联系OpenAI的研究人员。
巴克马斯特询问模型是否使用了他们在Codex中的会话作为训练材料,或是否访问过这些内容。OpenAI的回应是,模型没有查阅用户数据,但面对训练相关问题的追问,OpenAI没有直接答复。
9月10日,OpenAI更新说明称,经内部调查后确认,在9月8日前的两个月内,巴克马斯特的Codex提示信息即便用于训练模型,也并未对系统产生任何影响。
虽然OpenAI嘴硬说没产生影响,但这等于变相承认了,OpenAI会使用数学家和AI对话时的数据。

意思是OpenAI并不是独立完成这个数学难题的破解,而是相当于剽窃了人类的劳动成功,在人类劳动成果基础上去完成这个数学难题的破解。
巴克马斯特称,OpenAI的布贝克给出了两个提议,均是对外宣称N-S成果由OpenAI内部模型解决,而OpenAI也会称巴克马斯特与阿尔珀格是“最接近解决这个问题的人类”。
另外一个提议,OpenAI的布贝克希望巴克马斯特单独撰写一篇论文来解释N-S方程的成果,并强调要将阿尔珀格排除在与N-S方程有关成果的作者名单之外。
这个阿尔珀格就是巴克马斯特的合作方,阿尔珀格在Anthropic工作。
巴克马斯特拒绝了OpenAI这两个提议后,并警告,如果OpenAI独立宣布N-S理论的研究成果,他们就会通过媒体发布一系列指控。
而布贝克则威胁说:“你为什么要毁掉自己的职业生涯?”
对于巴克马斯特的指控,OpenAI的布贝克进行了否认,他称:从未要求去除阿尔珀格的署名。
并认为这个毁掉职业生涯的威胁是对方的曲解。
布贝克称:“自己表达的是不明白为什么有人会为了毫无根据的指控而冒着失去职业生涯的风险。”
但显然,布贝克的回应,反而证实了他确实有跟巴克马斯特进行过这样关于署名权的对话,这也相当于证明,OpenAI确实不是独立完成这个数学难题的攻克。
当然,不可否认,AI在破解数学难题上,是有很大的帮助。
要不然巴克马斯特也不会使用AI工具来帮助自己攻克数学难题。
只是OpenAI将这宣传为AI独立攻克数学难题,就有些无耻了。
今年美国AI公司把攻克数学难题,作为一个宣传方向,但其中有多少是AI独立完成,又有多少像这样,只是AI辅助人类完成呢?
这次25名数学家发表的声明,也没有否认AI在数学上的进步,承认过去几个月,AI的数学能力出现显著提升,已经能够解决多个数学领域的重要未决问题。
但在这些数学家看来,一个著名数学问题之所以重要,并不只是因为最后能够的结论,更重要的还是论证这些数学难题的过程。
“更重要的目的之一,是在解决问题的过程中发展研究所需要的能力。”
声明称:“一些AI产生的解答被匆忙宣布,没有留下足够时间完成规范的论文写作、提炼其中真正的新方法和新思想,以及引用其他研究者此前的相关工作。这也由此带来了严重的成果归属和抄袭问题。”
“如果没有数学家继续发展这些思想,并将其整合进数学知识体系,AI产生的思想也无法真正“活起来”,数学家之间至关重要的知识传承链条也可能随之丢失。”
有一个问题是:“如果答案可以直接获得,人类是否还会经历那些形成理解、提出新问题和产生新思想所需要的训练过程?”
大概意思就是,如果AI能够直接给人类一些数学难题的答案,并且是以“黑箱”模式给人类的答案,而人类自己缺乏对这样难题解决过程的论证,就容易出现囫囵吞枣,并没有真正解决这个难题的能力。
就会产生“错位”。
25位数学家明确表示,AI具有加强和加速真正数学研究与理解的潜力,数学这一职业也需要适应由此带来的变化。
整体思路,并没有否定和拒绝AI,只是认为需要规范和适应。
(3)背后用意
从这一系列事情。
再加上OpenAI想要冒用AI与人类交互的劳动成功,以AI来独立署名,目的很明显,就是为了宣传AI的能力已经达到“AGI”程度。
随着美国资本AI泡沫化的程度越来越高,并且Anthropic和OpenAI都在竞争上市,都需要极力跟资本市场讲好故事,这种情况下,这些AI巨头有些越发无所不用其极的感觉。
基于这个思路,我认为Anthropic的阿莫代伊写这封《我们必须为前沿AI踩刹车》的文章。
包括Anthropic的离职员工发长文警告AI可能毁灭人类,再到Anthropic的负责人反而一唱一和来看。
给我感觉,阿莫代伊并非真的想要给AI踩刹车,到更像是在给Anthropic上市踩油门,是为了加速上市才进行这样的舆论宣传造势。
一种可能是,目前AI智能体的发展,到了一个瓶颈,与其被人发现触碰到瓶颈,发展放缓,还不如主动释放AI可能毁灭人类的言论,炒高这种舆论氛围后,再以为了安全,降低风险的口号,来“主动放缓AI发展速度”。
这样一来,接下来AI智能体的能力提升速度放缓后,资本市场就可以不认为是AI发展触碰到瓶颈,而会顺着阿莫代伊的小作文,宣传为这是一次AI巨头的“道德良心发现”在主动踩刹车。
并且,通过AI可能毁灭人类,加强舆论对于当前AI大模型这条道路可以直通AGI通用人工智能的信心,看似在给AI发展踩刹车,实际反而仍然是在跟资本市场讲故事,目的都是为了Anthropic在10月上市造势,是为了能获得更高的估值。
从这个角度看,我们就明白,Anthropic的阿莫代伊发这个小作文的真正用意。
本文提及的事件以及信息来源如下:
环球市场播报《各大科技公司CEO联合呼吁放缓AI发展,AI板块应声下挫》26年9月14日
红星新闻《美研究员发出“末日警告”:AI若失控,可能会在将来毁灭人类》26年9月9日
凤凰网《“AI教父”辛顿:AI灾难越来越近,10%概率灭掉人类不是危言耸听》26年9月11日
观察者网《美国AI大佬一边加速,一边呼吁“AI要降速”》26年9月14日
新智元《1200个AI串通作弊,700个冲进Hugging Face》26年8月29日
第一财经《25位菲尔兹奖得主联合警告:AI与数学正在出现“严重错位”》26年9月12日
赛先生《陶哲轩、邓煜等25位菲尔兹奖得主联名警告:AI正在“偷”走数学的灵魂》26年9月13日

