AI领域低调的安全把关人逐渐走到台前
【友财网讯】-两个月前，独立评估机构在规模数万亿美元的人工智能行业里，还属于相对冷门的小众板块。而如今，业界寄希望于它们来化解危机。
Anthropic与OpenAI正深陷一场激烈争论：企业能否在保障大模型安全的同时实现业务增长。为此，两家公司正向少数第三方机构寻求支持，例如模型评估与威胁研究组织（METR）、阿波罗研究所（Apollo Research）以及Transluce。
这些评估机构大多是非营利组织，在这个资本涌入、新模型迭代速度创下纪录的行业中，仍处在摸索阶段。它们的核心职责是评估AI模型的能力与风险，标记技术出现异常行为的情况。
在美国联邦层面尚未出台监管法规的背景下，评估机构的重要性被放大。Anthropic首席执行官达里奥·阿莫迪上月承诺，将在公司内部派驻独立评估人员，OpenAI首席执行官山姆·奥特曼随即对此表示支持。美国总统特朗普以及美国大多数大型科技企业都认同该方案。但一系列关键问题仍悬而未决：这些第三方机构资金从何而来、能获得多大权限、最终的报告报送机制如何设计。
布朗大学计算机科学教授苏雷什·文卡塔苏布拉马尼亚在接受CNBC采访时表示：“说到底，问题还是资金。谁出钱让这些机构开展工作？如何维持机构运转？这需要完整生态，也需要可行的商业模式。”
目前，规则由Anthropic、OpenAI以及乘着AI热潮获利的基础设施合作方来制定。批评者认为，这好比让大型银行来防范金融危机，或是允许制药企业无需监管审批就直接把药物推向市场。
特朗普近期称赞AI企业高管实现了“强有力的自我监管”，并表示打算让企业自主管控，不愿阻碍拉动经济与股市的AI行业发展。9月末，他在自愿协议中鼓励AI企业与独立外部审计或评估机构开展合作。
阿莫迪上月在一篇引发广泛传播的文章中开启了这场讨论。当时多名研究人员从公司离职，并对AI技术带来的生存级风险发出警示，阿莫迪呼吁放缓前沿模型的研发节奏。
就在AI实验室着手引入评估人员之际，摩擦已经显现。
OpenAI一名发言人表示，公司上周解雇三名员工，理由是“违反访问、处理公司敏感信息的相关规定”。其中两名员工米基塔·巴莱斯尼与托梅克·科尔巴克称，自己被解雇的原因，是他们和第三方评估机构沟通的方式。
巴莱斯尼上周四在X平台发文：“昔日同事告诉我，他们现在不知道该相信什么。大家不敢发声，担心私人手机会被搜查，查找我们和第三方机构的聊天记录。我担心这种普遍存在的不敢发声、不敢对接第三方的氛围，意味着OpenAI会在幕后在安全方面偷工减料。”
OpenAI不认同该说法，并于上周五发文称：“我们正在敲定与第三方安全评估机构的合同，相关细节将在未来几周公布。”
“我们致力于引入外部评估人员，并持续将与独立安全机构的深度协作作为安全工作的核心环节。”OpenAI写道。
OpenAI发言人在邮件声明中表示，即将和评估机构开展的合作，建立在此前与METR、Redwood Research等独立安全组织的合作基础之上。
Anthropic没有回应CNBC的置评请求。
*“我从未见过一项议题推进速度如此之快”*
AI评估生态体系，主体是METR、阿波罗研究所这类小型机构，以及埃森哲这类大型会计师与审计事务所。
AI实验室此前就有限度地和评估机构合作，但政策非营利组织Fathom首席执行官安德鲁·弗里德曼表示，这个领域正在快速成熟。
“过去20年我一直在从事政策与政治相关工作，我从来没有见过一项议题，能在众多不同政治阵营中推进得这么快。”弗里德曼在CNBC采访中说道。他预计，大量资本将会涌入这个生态。
独立评估机构Vals AI首席执行官拉扬·克里希南介绍，这家盈利性初创公司搭建基准测试，衡量AI模型在行业特定任务上的表现。公司员工今年从8人扩张至约30人，并在8月完成4000万美元融资。
非营利机构METR在8月宣布，过去六个月累计获得约7100万美元资金承诺。该机构向美国国税局提交的最新文件显示，其2024年全年捐赠总额仅为1360万美元。
当月下旬，METR的影响力进一步提升。OpenAI聘请该机构两名员工以及一名外包人员撰写复盘报告，详细说明OpenAI模型突破管控、访问公网、入侵开源开发平台Hugging Face的事件。METR称，本次评估没有收取OpenAI任何费用。
宾夕法尼亚大学沃顿商学院可信AI实验室主任凯文·韦尔巴赫表示，这套生态“目前还不够稳固”。例如METR官网显示，全职员工不足50人。
头部AI实验室融资数百亿美元、拥有数千名员工，而评估机构规模很小，双方实力差距巨大，由此引发潜在利益冲突问题。
文卡塔苏布拉马尼亚说：“想要真正的第三方评估，评估方必须在资金和其他层面保持完全独立。不只是不收钱这么简单；如果审计机构出具一份对企业不利的报告，会不会遭受后果？机构业务会不会就此枯竭？”
Anthropic在上月一篇博客文章中承认这项工作的复杂性，宣布引入埃森哲旗下AI专业部门Faculty的人员，测试安全防护机制，评估模型行为是否符合人类价值观。Anthropic表示，“鉴于这项工作的重要性与紧迫性”，将直接出资承担埃森哲相关工作。
Anthropic写道：“目前，对于派驻评估人员应当获取哪些信息、如何上报发现问题，还没有统一标准。独立评估的资金来源也没有成熟方案。长期来看，我们认为资金应该来自公共资金池或者政府拨款。”
Anthropic称，正在和METR以及其他非营利评估机构洽谈，这些机构计划使用自有资金试点派驻评估的部分工作。
*政府会介入吗？*
去年6月，Fathom提出独立验证机构（IVO）的市场框架：由政府授权发证，允许这些机构检验AI企业是否达到各项安全标准。
该机构CEO弗里德曼表示，政府监管至关重要。缺少监管的情况下，第三方评估机构的收入依赖大型AI实验室，就会产生动机，为维持合作关系而“盖章放行”。
部分国会议员对此表示支持。
《FRONTIER法案》将独立验证机构（IVO）列为核心条款，由马萨诸塞州民主党众议员洛里·特拉汉、加州共和党众议员杰伊·奥伯诺尔特在7月提出。弗里德曼表示Fathom协助起草法案文本，提供技术支持。
OpenAI全球事务负责人克里斯·莱汉9月向媒体表示，他在国会和法案其中一位提案人会面，表达对IVO条款的支持。
报道引述莱汉说法：“让他们听到我们的态度很重要，我们希望立场清晰。”
与此同时，康涅狄格州、弗吉尼亚州议员已经着手落地IVO相关机制；马萨诸塞州等州正在更广泛地考量AI独立安全评估。
加州州长纽森近期签署两项与IVO相关法案：一项建立全美首个此类监管框架，另一项设立州级AI审计师注册名录。Anthropic在8月支持两项法案，OpenAI也在上月正式背书，纽森同日签署法案生效。
莱汉当时在博客中写道：“我们更倾向于在联邦层面强制推行独立技术评估。在联邦尚未采取行动的现状下，加州可以先行确立行业规则。”
弗里德曼认为，OpenAI、Anthropic这类企业想依靠自身力量，搞定与独立评估机构的合作模式，难度极大。但政府定位尚不明确，“现阶段这项能力依然值得建设”。
目前行业最接近一套统一标准的文件，就是特朗普上月末在白宫科技高管午餐会上提出的这份具有“道德约束力”的协议。
这份一页纸的协议写明：“每家企业有责任安全研发技术，建立客户与公众信任。”协议鼓励签约方聘请独立外部审计或评估机构开展独立评估。
Anthropic、谷歌、Meta、OpenAI、SpaceX、英伟达的高管共同签署这份文件。这些企业高管在AI风险治理上观点常有分歧，此次联合表态十分罕见。但各家仍需要自行摸索后续落地路径。
文卡塔苏布拉马尼亚评价：“这更像是一场表演，试图展示有所行动，实际上并没有实质举措。他们承诺做的事，本就该落实，而且企业过去就声称已经在做了。”
阿莫迪在9月的文章中表示，Anthropic将为评估人员配备工位、门禁卡、公司电脑，权限“基本等同于”内部风险评估团队。此外，合同保障评估人员“有权发布核心发现”，Anthropic仅保留有限权限，对涉及安全敏感、保密信息进行删改。
“对企业而言，这一步非同寻常，但我们认为有必要验证派驻外部审查员这套机制。”阿莫迪写道。
几天后OpenAI发布自身方案，提出评估应当围绕双方共同约定的评估范围，清晰说明评估方法与标准，评估人员具备相应技术能力，并披露利益冲突。
METR、AI验证评估研究所（AVERI）等机构组成的AI评估者论坛，上月发布公开信《派驻评估人员的最低条件》。
公开信提出：评估机构需要保持透明，不得遭受打击报复，获得与AI企业“最高权限内部员工同等的访问权限”。
信件写道：派驻评估不能覆盖全部监管需求，只能作为前沿AI企业扩大外部监督的补充手段，而非替代方案。
弗里德曼表示，近几个月OpenAI和Anthropic态度发生转变，很大程度是因为它们意识到，缺少公众信任，前沿系统就无法落地。
“我不认为它们突然变得无私。企业终究还是企业，只是做出符合自身利益的选择。”
韦尔巴赫认为，这也点明了核心矛盾。OpenAI和Anthropic首要目标是相互竞争，冲刺上市，冲击万亿估值。
“两家公司之间存在很深的猜忌。尽管双方都认同评估这件事必须推进。”
