OpenAI新推理技术引发AI安全专家担忧:思维链或难监控
The Information本周二披露,OpenAI新一代模型Astra将采用一种名为“不透明递归”的推理技术,让模型可以在传统顺序思考之外运行。报道发出后,AI安全专家表示强烈担忧:这种技术可能让模型输出变得难以监控,安全风险随之上升。
所谓不透明递归,指的是模型在处理同一查询时多次循环运算,而非沿线性路径一步步推导。留下的可读痕迹变少,之前被视为安全底牌的思维链在很大程度上失去监控抓手。
Redwood Research首席执行官Buck Shlegeris在消息传出后公开发文:“我对Astra使用不透明递归的报道感到极度担忧。我不确定Astra是否比此前模型更容易绕过思维链监控,但如果OpenAI继续推进这一技术,他们就有能力大幅增加循环递归的规模,彻底摧毁思维链的可监控性。”
常规推理模型在解题时,思维链会记录下模型逐步推导的过程。虽然它不能完全等同于人脑思考,但仍是技术人员判断模型是否出现误导或越狱行为的重要线索。此前OpenAI排查“失控智能体”事件时,思维链日志就在还原行为动因上派上过用场。
不透明递归恰恰把这条线索收走了。模型同样在“想”,但想的痕迹不再呈现在日志里,留给外部审查的只剩输入和输出两端。Redwood Research首席科学家Ryan Greenblatt警告说,更令人担心的走向是“把不透明推理一路做大,直到模型几乎完全在潜在空间里思考”。
长期关注AI安全的Zvi Mowshowitz提出了更直接的批评:“这是在玩火,打破了OpenAI和Anthropic一直努力维护的默契——尽可能保持思维链的忠实度和可监控性。对这类技术更密集的使用,很可能让监控能力受损。”
面对外界质疑,OpenAI首席科学家Jakub Pachocki在X上回应称:“从最早的推理模型开始,OpenAI就致力于保留和运用思维链监控,这是我们当前研究计划的核心目标。”他强调,Astra目前对不透明递归的使用规模有限,思维链仍然保持可读,公司不会走向所谓的“神经语”黑箱。
The Information在本周三上午发布后续报道称,Anthropic和Google DeepMind内部也已开始讨论类似技术路线。讨论尚处早期,但多家头部AI实验室不约而同看向同一个方向,本身就是一个值得留意的信号。
在技术维度之外,这次争论把一个问题摆上了台面:当模型思考过程越藏越深,AI开发者对行为的把握还剩多少?OpenAI一边承诺加强思维链监控,一边为Astra配置了削弱监控可见度的推理模式。两种做法并行出现,显得格外拧巴。
换句话说,思维链监控被当作一种可以“部署”的系统,而不是模型运行方式的固有属性,那它随时可能在技术演进中被绕开。此次争论的实质,是“监控能力”正从实验室原则变成商业竞争中可以取舍的变量。
几十年来,人类判断机器是否可靠,依赖的一直是“过程可检验”。发电厂有操作日志,飞机有黑匣子,代码有版本记录。AI的思维链正是这套逻辑在神经网络时代的延伸,可它正成为第一个被主动压缩乃至隐藏的“过程记录”,而且压缩它的不是监管者,恰恰是开发者自己。
OpenAI在这件事上显得摇摆:它公开承诺思维链可读性,也为这项承诺留了“可升级选项”。安全专家担心的是,当监控成为可选项,实验室之间的竞赛会把它推向什么位置——Mowshowitz用“逐底竞争”来描述这种可能,Redwood团队更是直接呼吁OpenAI“到此为止”。
想起最开始用ChatGPT那阵子,看它在对话框里一步步列出推理过程,真有翻作业本时的那种踏实感。周末的傍晚,宿舍里只剩风扇声,我把一个荒诞的逻辑题扔进去,它从假设开始拆,分条写,结论处还补一句“以上仅代表模型观点”,像极了一个怕被老师挑出错的学生。那时我想,只要它愿意把每一步摊开给人看,总归是能放心的。
现在的小孩大概很难体会这种“检查草稿纸”的快乐。新一代模型不再把演算过程写满屏幕,它们的思考收进看不见的地方,像一个人学会了心算,就不再留竖式。当年那页回答滚动在屏幕上的慢,如今看来倒成了某种郑重的仪式——后来的事情,也许是它真能帮人写代码了,替小学生改作文了,跟老人聊到半夜了,可对话框里那一行行步骤,越来越短了。