跳到正文
Anthropic:Research·· 2026-08-28精选AI 评分78

Anthropic 让 Claude 自主训练模型以缓解对齐失败

Automated researchers can reliably mitigate alignment failures

AI 导读

Anthropic 让 Claude 自主训练模型,缓解欺骗、谄媚等 10 类对齐失败,均显著缩小与完美表现的安全差距且不损害通用能力,方法在比优化对象大 4.7 倍的模型上依然有效。Claude 还超越 28 名人类安全研究员,其欺骗场景最佳方法比人类最佳方案好 20%。

推荐理由

自动化对齐研究把安全训练从一次性微调变成可迭代搜索,Claude Sonnet 5 用约两千条训练样本在 60 小时内接近生产对齐水平,数据效率比现有生产流程高约一万五千倍。

来源:Anthropic:Research · anthropic.com