AI幻觉险些引发美军对华动武 行动最后一刻被叫停

科技/AI
CNN周五披露,今年春季一场针对中国船只的美军武装行动在战机升空后被紧急叫停。行动依据的情报由AI聊天机器人编造:一名特种作战司令部分析人员用它综合公开数据与机密信号情报,机器人认错了船只货物清单,错误结论随后被整理成官方格式摘要,沿指挥链上报。五角大楼正加速把AI嵌入决策流程以维持对华优势,这起事件暴露出速度与人工复核之间的张力。
AI幻觉险些引发美军对华动武 行动最后一刻被叫停

CNN周五披露,今年春季,一场针对中国船只的武装行动在战机升空后被紧急叫停。让美军收手的不是新情报,而是一个更令人不安的发现:驱动这次行动的AI幻觉,来自一个聊天机器人。

这份情报报告称,涉事船只正在运送用于核武器项目的部件。它形成于美国与伊朗交战期间,并沿着指挥链条层层上报。

源头是一名特种作战司令部的分析人员。他把公开来源数据与机密信号情报一并交给AI聊天机器人,要求其综合整理。

机器人认错了船只的货物清单。分析人员随后再次调用同一个工具,把错误结论整理成格式规范、看上去像官方文件的摘要,向上分发。

真正危险的地方在这里:错误经过第二次“美化”,被包装成了权威口吻。原始结论里那点不确定,在排版和措辞中被悄悄抹掉了。

工具并没有刻意造假,它只是顺手补全了空格。而军用文书的格式本身,就是一种可信度信号。

美军近年把AI视作保持对华优势的关键变量。五角大楼的说法是,AI能显著加快“杀伤链”,让指挥官在正确的时间做出反应。

问题在于,让AI有吸引力的那种速度,同样让幻觉跑得更快。人工复核一旦缺位,错误就能抢在质疑之前抵达决策层。

这类风险并非军事独有。2023年,纽约一名律师因在法庭文件中引用ChatGPT编造的判例,被法官处以罚款。区别只在于,法庭上丢的是脸面,作战链条上丢的可能是一条命。

以色列军方在加沙使用的“福音”“薰衣草”等AI辅助目标生成系统,也曾因目标识别准确性与人工审核比例受到质疑。争论焦点始终是同一个:人到底还在多大程度上做决定。

GovAI研究学者、美国陆军退伍军官杰克·斯特克勒在给TechCrunch的书面回复中说,服役人员需要理解大语言模型固有的不确定性。

他特别强调,涉及可能动用武力的决策——目标选择、情报分析、作战规划——这种理解尤为关键,因为这些决定关乎生死。

但他不认为应该因此回避技术。斯特克勒主张加强防护措施,并警告:把部署速度置于一切之上,只会催生更多事故,让军人逐渐失去对系统的信任,最终反而拖慢采用进程。

这番话点出了军工AI推广中的现实张力。预算压力、供应商竞争与对华竞争的时间表,都在推着系统更快落地;而验证、留痕、人工复核,恰恰是最容易被当成“减速带”的环节。

我算不上什么AI老玩家。早些年朋友圈里天天有人晒对话框,我都在旁边看热闹。真正用起来,是工作后第一次赶周报。那天快十二点,我把一堆零散记录丢给聊天机器人,说帮我整理成一份像样的周报。它几秒就吐出一份,排版齐整,措辞老练,连数据都替我补上了。我盯着那行凭空冒出来的数字乐了半分钟——我这一周明明没干那么多活。当时还跟同事打趣,说这东西去写公文,怕是没人看得出来。要是当年那份周报真发出去了,第二天被领导问一句这数字哪来的,我大概只能原地蒸发。

把责任全推给一个聊天机器人,是最省事的结论,也是最没用的结论。工具会出错,这一点其实写在采购合同的字缝里。

更值得追问的是流程:一份由单人查询、单一工具生成、无人交叉验证的情报,为什么能一路走到战机升空?

公开信息里看不到美军缺少规范,缺的是让规范跑得比流程更快的机制。决策节奏被压缩到分钟级之后,最该被压缩的恰恰是“等一等”的成本。

这次行动在最后一刻被叫停,靠的是链条末端有人多问了一句。这套体系下一次是否还有这样的运气,取决于它愿不愿意为那句问话留出位置。