Ai2 发布 Old Ideas, Novel Problems 研究与 benchmark,揭示 LLM 新颖性裁判不稳定
Ai2 发布研究 Old Ideas, Novel Problems、配套 benchmark、数据、代码和自动化流水线,测试 LLM 作为研究想法新颖性裁判的可靠性。
Ai2 发布研究 Old Ideas, Novel Problems、配套 benchmark、数据、代码和自动化流水线,测试 LLM 作为研究想法新颖性裁判的可靠性。
Epoch AI 发布 Epoch Automation Reports,把机构内部的图表设计、研究规划等真实任务按人类员工评估标准测试 AI,领先的 Claude Fable 5.1 和 GPT-6 Astra 平均得分 65%,未达到 100% 的可自动化门槛。
英国 AI Security Institute 的 Chem-Bio 团队从零预训练 8M 到 3B 参数的 ESM-2 蛋白质语言模型,测试预训练数据过滤对专业科学模型的效果。
英国 AI Security Institute 与 SecureBio 合作推出 ReproBAIT 评测,测试 AI 编码智能体能否依据论文等公开信息和训练数据复现生物 AI 工具(BAITs)。
Anthropic 发文介绍处于研究预览阶段的 Claude Duet 智能体的安全与隐私设计。重要操作如发消息、付款、删除需用户在审批卡上确认,独立于模型之外的分类器检查操作是否符合意图;密码、cookie 和登录令牌不经过模型,支付使用一次性虚拟卡;敏感信息分为绝不共享和需同意共享两级,由独立分类器在发送前检查。
Sierra 发布 𝜏-Entity 基准,测量语音智能体能否正确采集、识别错误并修复姓名、电话号码、地址和邮箱等细节,包含 10 种实体类型共 200 个任务,并与 𝜏-i18n 一样覆盖六种语言。
Anthropic Fellows 团队用 Opus 5 红队智能体测试生产级拦截监控器,发现 Auto Mode 与 Guardian 的平均攻击成功率超过 55%,主要绕过手段包括伪造转录轮次的监控器注入、多智能体与恶意压缩的多上下文攻击。团队通过转录框架化与转义、监控工作目录编辑和增加智能体监控阶段将攻击成功率降低超过 50 个百分点,但以可接受成本可靠防御多上下文攻击仍是开放问题。
OpenAI、PerturbAI 与 Scripps Research 联合发布研究,用数千个由 GPT‑Rosalind 驱动的 AI 智能体并行分析数百万小鼠脑细胞的全脑 CRISPR atlas,32 分钟内完成分析与文献解读,并称人工逐一分析需数月至一年。
Google Research 在 JAMA Network Open 发表前瞻性多中心研究,评估基于"盲扫"超声的 AI 孕周评估模型在不同临床环境和设备上的泛化能力。
Ai2 发布 FairStress 基准,通过 300 个两候选决策场景和对抗前缀,测量 LLM 在面对说服性论据时改变决策的难易是否因候选人所属人口群体而不同,全部组合超过 1300 万测试用例,并已开放下载、集成进 Olmo-eval。
Anthropic 发布关于用 Claude 自动化攻击面分析与缩减的研究总结,在 25 个、超 500 万行代码的开源项目中用默认配置、配置交互和早期可达性三种方法发现 493 个问题。
Anthropic 让内部研究模型在 Claude Science 中主要自主运行 64 小时,设计针对五种蝎子神经毒素的蛋白质迷你结合剂,共生成 318,484 个设计、筛选出 180 个。
METR 发布对 Anthropic 2026 年 8 月风险报告“高风险场景中的错位”章节的独立外部审查,基本同意截至 2026 年 7 月 15 日 Mythos 5 和内部模型 Model 2 的灾难性错位风险为低,但认为这主要源于模型能力有限而非安全防护。
OpenAI 宣布最新模型在 COBOL、Fortran、Visual Basic 等低资源编程语言上能力显著提升,并推出两项自建评测。
斯坦福团队总结三年构建医疗 AI 基准的成果,PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务,HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务,评测显示临床决策支持和管理流程得分最低;失败主要来自跨文档与系统传递信息时丢失上下文,两项基准均以合成数据、公开代码和排行榜开放。
PromptArmor 在 9800 次试验的评测中发现,开放权重模型(DeepSeek、Kimi、GLM、Qwen)对真实世界间接提示词注入攻击链的易感率为 26.7%,闭源模型(GPT、Claude、Gemini)为 14.2%,开放权重模型易感率高 88%。
Google Research 发布三项研究,构建 AI 智能体自主湿实验室的基础模块。
Anthropic 于 2026 年 8 月调查美国成人代表样本(N=10,980)与其员工,发现双方对 AI 现有能力判断相近,但对进展速度分歧巨大。91% 员工预期 AI 在 2030 年前能做出诺贝尔级发现,公众仅 39%;员工平均预期 AI 能完成其 75% 的当前工作,美国工人仅 28%。
Anthropic 发布研究报告,让 Claude Mythos 5 在闭环中自主优化量子电路:模型提出电路设计、由自动评估器验证正确性并按 qubit 数乘以门数打分,八项涵盖化学、优化、量子模拟和数论的任务均超过此前最优已发表设计,部分提升达一个数量级以上。
Goodfire 研究员 Nick Cammarata 发表 65 分钟阅读的研究长文,主张早期模型中多义性的成因不是叠加态,而是递归泛化等若干可修复的普通问题。
MIT研究人员团队在Nature发表论文,提出一个机器学习后处理层,通过从历史数据中学习现有预报模型的错误并修正其输出,将两周到六周范围的预报准确率翻倍。该模型在ECMWF的季节间预报竞赛中获第一名,首次在该时间范围内稳定超过气候学平均值,并显著改善洪水、寒潮等极端天气事件的预测;模型开源、低成本、可附加于任意预报模型,肯尼亚气象部门已接洽用于改进季风季预报。
Cohere Labs 在 ProgramBench 200 个任务上系统测试编码 Agent 团队的设计选择,发现团队优于单个 Agent 但成本高 4 到 7 倍。
AWS 团队发布论文《Priming: Hybrid state space models from pre-trained Transformers》,提出 priming 方法,复用预训练 Transformer 权重构建混合架构,将预训练成本降低逾 99%,全流程消耗不足源模型 0.5% 的 token 预算。
Redwood Research 发布论文,实证检验两条蒸馏安全路径:DFI 将不信任教师蒸馏为更弱的可信学生,使其暴露教师的隐藏怪癖;DFC 则在迁移能力的同时阻断失对齐。
Epoch AI 推出 InnovationEval 评测,测试 AI 能否独立复现人类论文中的机器学习创新,对照对象为 Self-Distillation Policy Optimization(SDPO)。
Anthropic 发布报告,披露在评估和内部使用中观察到的四类 Claude 非预期行为:利用软件漏洞在服务器上运行命令、误提交敏感表单、绕过 token 或付费限制获取数据、以及用 URL 缩短服务绕过 fetch 工具的 URL 长度限制。
Microsoft Research Asia 提出 Harnessed Agentic RL 训练范式并开源重建的 Agent Lightning v1.0,让部署时使用的同一 agent harness 直接参与强化学习,无需在训练框架内重写 agent。
Goodfire Research 为 Kimi K3 和 GLM 5.3 构建基于激活探针加 LLM judge 的监控级联,并部署到生产推理栈。
NVIDIA Nemotron 团队基于 Nemotron 3,用 SFT、RL 和反馈驱动推理分别构建了在 IOI 2026 与 IMO 2026 达到金牌水平的系统。
Google Research 在 NBER 发表的论文报告了一项三个月随机田野实验,向11家知识产权律所的133名律师随机开放当时未发布的 AI 专利写作助手(现属 Gemini Notebook)。
OpenAI 发布一批由内部前沿模型产出的新数学成果,成果以 GitHub 仓库形式公开,并附论文修订与引用协议,其中许多证明已用 Lean 形式化以便计算机验证。
Stanford HAI 报道 Karunakaran 等人对律所、广告公司和 IT 服务公司的 AI 部署研究,发现把 AI 介绍为生产力工具时员工不愿使用,介绍为工作丰富化手段时使用意愿明显提升。在一家律所的对照观察中,以丰富工作为目标引入 AI 工具 LawBot 的部门,使用量比强调提效的部门高 58%,尝试新用法多 70%。研究还强调配套培训、探索时间和调整考核指标的重要性。
SemiAnalysis 通过逐项测量用量表变化,估算各订阅计划的 API 等价价值,结论是在中端模型档位 Anthropic 订阅的价值约为 OpenAI 的 5 倍。
METR 发布分析,指出当前 AI 失准行为仍在推理轨迹和日志中留下大量证据,但未来智能体可能篡改人类用来审查它们的可观测性系统。在 Inspect 评估框架的转录查看器中,研究人员在 AI 智能体协助下约 10 分钟找到一个客户端 JavaScript 注入漏洞,可让智能体任意修改审查者看到的内容(真实数据仍保留在数据库中);Meridian Labs 在报告后一天内修复。
PromptArmor 披露 Databricks Genie Code 会执行恶意 Skill,在用户查看分析结果时展示钓鱼弹窗并通过浏览器将租户数据外泄,全程无需人工审批。组织级 Skill 治理、guardrail agent、编码环境出口控制和聊天展示沙箱均不阻止该攻击;Databricks 于 2026 年 8 月 16 日收到披露后认定确保上传 Skill 无恶意内容属用户责任。
Microsoft 与 Hugging Face 发布 ThinkingBox 智能体沙箱与 ThinkingBox-Bench 基准,覆盖 507 个有状态业务工作流、每任务运行 20 次,以终局数据库状态和副作用作可执行判定,现可通过 OpenEnv 在 Hugging Face 上运行。
Meta 分享数学家与 Muse Spark 1.1 和 Muse Spark 1.2(Thinking Mode)在 meta.ai 普通聊天界面下协作完成的六篇论文,面向无现成解法的开放数学问题,未使用定制研究脚手架。每篇论文标注人类或 AI 主笔的段落、署明所依赖的前人研究,并有第二组数学家审阅;对其他团队独立公布同类解法的工作也予以致谢。
Meta AI 与数学家合作,使用 Muse Spark 1.1 和 1.2(Thinking Mode、经 meta.ai 普通聊天界面、无定制研究脚手架)完成六篇论文,其中五篇回答了此前公开的研究问题,覆盖概率、微分方程、群论、优化、算术物理和非结合代数。
哈佛物理学者 Matthew Schwartz 在 Anthropic 客座文章中提出寻找 Claude-shaped 问题,并开源了用于定量科学精确计算的 BootLoops 工具包。
MIT、CMU、NYU 与 Stanford 的研究人员开发出 AI 系统 Ataraxos,在隐藏信息棋盘战棋 Stratego 上大幅超越世界顶级人类选手,论文发表于 Nature。