Anthropic承认限制直接加速AI开发的能力

DoNews 11月10日消息 Anthropic公开承认已经采取措施限制了某些可能直接加速AI开发的能力。目前该公司正陷入一场相关的风险评估风波。

11月2日,Anthropic在招股书修订稿S-1/A中提到,根据内部估计及对未来模型的预期,公司可能很快达到《负责任扩展政策》定义的“由AI带来的显著加速进展”门槛。11月5日,非营利性人工智能安全研究机构METR发布的一份评估与Anthropic产生了争议。

METR表示,评估证据来自该机构研究人员在8月12日至10月29日解除到的Anthropic内部数据及相关员工。一些重要结论:在定义明确的任务上,模型能力进步速度可能已达到此前的约两倍。

AECI能力指标(Anthropic Epoch Capability Index,简称为Anthropic综合能力指数)的增长速度估计为此前的1.9倍,95%置信区间为1.5—2.8倍。这里的“两倍”指大致用一年完成过去两年的能力进步,不是模型能力翻倍,也不是员工生产率统一翻倍。

此外,当前加速的大部分可能来自AI辅助研发;目前主要仍是辅助人类,而非完全自主研发。

METR与Anthropic一致的部分是,两者相关研究人员多数仍倾向认为,截至7月15日尚未跨越该门槛;METR也认可当时模型直接造成相关灾难性风险的评级较低。

差异在于,METR认为Anthropic在8月风险报告的公开版本中低估了研发加速程度,对“尚未跨越预警门槛”的判断表述得过于确定。比如,公开报告称某项领先指标加速“不到两倍”,但METR根据内部报告数字推算约为1.97倍,“约两倍”更能传达实际情况。

更大的争议是,METR披露Anthropic删去了该机构认为最有判断价值的大部分证据。Anthropic联合创始人Sam McCandlish在公开回应中承认大量删减使外界更难核查报告,理由是商业敏感性、避免给其他开发者提供加速路线。METR并不认可,称自己不适合替公司商业利益与公众知情权利作最终权衡。

此后,双方仍有龃龉:原计划包含能力研发与安全工作之间的算力分配核验,因Anthropic中途调整范围未能完成。此外,一名参与评估的人员表示拒绝了Anthropic聘用邀约。METR回应称相关工作已由无利益冲突人员复核;后续新政策要求此类情形回避等。

Sam McCandlish认为METR的许多结论与Anthropic的判断一致,AI正在加速公司研究,但幅度难以精确确定。公司计划在未来几周公布自己的研发进步评估、相对于责任扩展政策门槛的位置,以及新的安全措施。

11月9日Anthropic在发布Claude Fable 5.2和Mythos 5.2的同时,公开表示,新模型的一般能力有所进步,但公司在训练过程中限制了某些可能直接加速AI开发的能力,包括加速器内核优化、大语言模型架构改进,使这些方面大致维持在Opus 5.5水平。公司同时称,相关措施没有影响智能体编程、硬件开发等相邻能力。

以上风波时值Anthropic的IPO进程,吸引了较多关注。有关外部评估究竟能够核验什么、公开什么,以及投资者应当对其结论给予多大权重并无结论。

至于Anthropic已经公开声明采取了限制,但限制是否有效、能否约束整体研发加速,仍不能仅凭发布说明认定。投资者关注的是,Anthropic如何把前沿能力转化为商业增长,同时让投资者相信这种增长具备可管理的风险。(完)

Copyright © DoNews 2000-2026 All Rights Reserved
京ICP备2025120072号