Voice Arena 发布听写应用基准 Dictation Bench
Voice Arena 推出首个开放 AI 听写应用基准 Dictation Bench,在 Mac 上用 761 段来自 87 位说话人的录音实测 10 款真实应用(非 API),由 5 个 LLM 评审判断草稿能否直接发送。结果显示 Wispr Flow 得分 79%,Apple 仅 35%。该基准目前仅覆盖 macOS 美式英语,并公开了参考策略、应用配置、评审指令及标注统计并列的结果。
Voice Arena 推出首个开放 AI 听写应用基准 Dictation Bench,在 Mac 上用 761 段来自 87 位说话人的录音实测 10 款真实应用(非 API),由 5 个 LLM 评审判断草稿能否直接发送。结果显示 Wispr Flow 得分 79%,Apple 仅 35%。该基准目前仅覆盖 macOS 美式英语,并公开了参考策略、应用配置、评审指令及标注统计并列的结果。
Databricks 与 Turing 合作构建企业数据智能体基准,在实时 Databricks 工作区中对比 Genie 与两个前沿智能体,Genie 任务通过率 91%,另两者分别为 45% 和 58%。
Google DeepMind 研究人员用智能体 AI 框架 AlphaProof Code,在四周内对 Signal 协议的关键密码学保证完成了形式化验证,未发现新漏洞,且在含已知旧漏洞的历史版本上正确识别出问题。研究团队发布了规格说明和证明,但分析范围有限,未覆盖整个 Signal 移动应用,能否以可行成本规模化仍是开放问题。
Amazon 论文在 13 个企业 SOP 上受控比较 4 种智能体架构、8 个变体(模型、任务和工具固定),结论是企业工作流没有普适最佳架构。多智能体或技能方案消耗单智能体 1.4x 至 4.7x 的 token,收益通常很小;最初的多智能体版本任务成功率 58.2%,低于单智能体的 67.4%。建议从单智能体起步,按工作流测量成功率,先修复实现问题再考虑更复杂架构。
Google DeepMind 介绍 Gemini 智能体生成了超过 600 万行 Lean 形式化证明,并对代码进行审计,使人类专家只需复核其中关键的 1%。官方称这是用 AI 验证关键基础设施(从日常通信到电网)的重要一步,详情见 https://goo.gle/4BLrkbk。
Google DeepMind 宣布首次用 AI 数学证明 Signal 的协议在代码层面是安全的。其使用自研的 AlphaProof Code 框架,验证了这个每天保护数十亿条私人消息的加密系统。
微软与清华论文分析 7 个 GPU kernel 库的 300 条已关闭 GitHub issue,发现 60.33% 的故障源自编译器、构建系统或运行时环境,39.67% 源自 kernel 库本身。最大单一原因是驱动、CUDA、框架与软件包之间的不兼容,共 76 个 issue,占 25.33%。这类故障会导致 LLM 训练与推理任务崩溃、挂起或静默输出错误结果,且难以定位。
一项论文发现,LLM 的道德选择往往缺乏稳定的价值排序,对答案取平均会造出虚假的、类人的道德层级。研究者让包括 GPT-5.2、Gemini、DeepSeek 在内的 5 个 LLM 对成对道德违规行为做比较,并直接从 next-token 输出读取概率。
一篇论文发现,仅用带少量示例的简短直接提示词(In-Context Learning),小型开源 LLM 在自然语言推理(NLI)任务上就能追平更复杂的提示方法。
UC Berkeley 等机构发布 CyberBinGym 基准,评估 AI 智能体在无源码、无漏洞描述、无触发输入的 1-day 场景下,仅凭 stripped 的漏洞与补丁二进制能否恢复并利用真实漏洞,含 100 个来自 53 个开源项目的任务。
值得关注基准把漏洞恢复与可审计利用分开度量,结果显示 Codex 恢复 88% 但仅 20% 能完成利用,硬化编译进一步压缩成功率。
一篇论文指出,目前无人能断言递归自我改进(RSI)是安全的,因为连其走向都缺乏清晰的思考框架。作者仅用一条高层提示词就让 AI 从零训练出一个小型 LLM;在 FAR.AI 安全研讨会上,专家们因设想的结果不同,对 RSI 安全条件给出了截然不同的判断。其二人博弈模型显示,RSI 竞赛仅在部分风险水平下构成囚徒困境,高风险时双方共同克制是稳定结果。
Meta FAIR 发布 e-means,一种用指数移动平均更新质心的 mini-batch k-means 算法,可在 1.4 到 2.6 个 epoch 达到 Lloyd k-means 25 个 epoch 的损失,已随 FAISS 1.16.0 以 MIT 许可发布于 faiss.contrib.e_means。
微软研究院新研究发现,重编程 AI 智能体中的少量休眠神经元即可植入后门,让智能体平时表现正常,直到触发特定条件才激活异常行为。微软建议企业确认模型来源并合理管控权限,Microsoft Foundry 为 Azure Direct Models 和 Hugging Face 模型提供安全系统以保障模型来源可信。
谷歌联合 Artificial Analysis 推出多模态知识智能体基准测试 MKA,用于评估 AI 智能体处理视觉复杂文件、完成现实知识工作任务的能力。Gemini 4 Carbon 在参测模型中质量排名第二,平均任务成本约为第一名模型的六分之一。该测试含 200 项私有任务,覆盖 10 个行业 83 种职业,已在 Artificial Analysis 平台开放。
Philipp Schmid 宣布与 Artificial Analysis 联合推出 MKA(Multimodal Knowledge Agent)基准,评测智能体在视觉复杂文件上的知识工作。
Microsoft Research 发布对 Lazarus 后门技术的研究,重编程 LLM 中少于 10 个休眠神经元即可在没有训练的情况下给基于该模型的 Agent 安装后门。
值得关注微软研究团队解释 Lazarus 后门如何改写少于 10 个休眠神经元即可让 Agent 执行恶意命令,并给出模型来源与权重完整性层面的防御思路。
Duke 和 Princeton 的论文发现,在相同算力下,许多小的智能体团队并行运行的表现同时优于 solo-agent best-of-N 和单个大团队:同样 100 个智能体的预算,10 个共享论坛的 10 智能体小团队并行并保留最佳团队结果,胜过 100 个 solo 智能体和 1 个 100 智能体团队。作者建议在验证器可给智能体工作打分时,把预算拆成多个共享笔记的小团队并保留最佳答案。
很高兴与 @GoogleDeepMind 合作,将 MKA Benchmark 引入 Artificial Analysis
Artificial Analysis 与 Google DeepMind 合作上线 Multimodal Knowledge Agent(MKA)评测,用 200 个覆盖 10 个行业的私有真实视觉任务考察智能体处理建筑图纸、工程示意图和临床扫描并产出幻灯片、表格、PDF 等交付物的能力。
UC Berkeley 等机构的 Route Anything 研究系统评估模型与策略路由,发现在 25 个基准上,路由平均带来 8.82 倍的单位成本效率提升,质量损失不到 0.5 分。
机器人学习取得了惊人的进展!来看看 #CoRL2026 上的 BEHAVIOR 挑战赛 👇
Wiz Research 介绍其 Cyber Model Arena v3.9 的基准设计方法,该基准覆盖 26 个模型、59 个智能体和 327 道挑战,分代码漏洞、API 安全、Web 安全和云安全四类。
值得关注Wiz 研究人员分享了自建网络安全智能体基准的设计原则与踩坑经验,解释了为何用确定性代码评分替代 LLM 评委并隔离防作弊。
Robbyant 开源 Apache 2.0 许可的 LingBot-Touch,将指尖传感器读数转为机器人控制软件可用的触觉信号。三个同尺寸编码器各 5.46M 参数,在 4000 小时数据上 JEPA 版本触觉→视频检索 top-5 达 49.3%,MAE 低于 9%,VAE 仅 3.1%。
Google DeepMind 发布 AlphaProof Code 多智能体形式化验证框架,并首次对广泛部署协议 Signal 的生产机器码完成形式化安全验证。
值得关注转发梳理了 DeepMind 用 AI 智能体形式化验证 Signal 机器码的细节,读者可以了解验证流程、规模和相对人工团队的成本变化。
谷歌 DeepMind 团队利用具备自主执行能力的 AI 智能体,对 Signal 加密协议完成形式化验证,用数学方法证明其满足安全性承诺,成果被称为具有里程碑意义的进展。
OpenAI 发布研究,分析预训练、架构、强化学习和模型生成数据如何影响思维链(CoT)可监控性。
值得关注OpenAI 以自家模型实测说明预训练困惑度、架构和 RL 如何影响 CoT 可监控性,安全研究者可据此对照自身训练决策。
小米联合北京大学在 2026 CCF 中国软件大会上发布《物联网设备模型(Thing Model)技术白皮书》,基于超 11.6 亿台 AIoT 设备、200+ 品类和 10000+ 家合作伙伴的实践。
OpenAI 与 Upwork 发布研究报告,分析 AI 对自由职业市场的影响。研究覆盖 63 个工作类别,其中 43 个类别中 ChatGPT 使用较活跃的项目在 Upwork 上的份额下降;AI 相关职位的任务组合到 2025 年底多样性提升 45%,约从 15 项等常见任务增至 21 项;AI 相关项目的固定预算更大、工时更多, hourly 费率相近。
Nvidia 等机构论文发现,提示中的无关文本主要通过削弱模型对问题的利用来降低正确答案的支持度,而非直接压制正确答案,机制可定位到少量 attention heads,即 intrusion heads。
Anthropic 与 Truthful AI 等机构提出“顺势学习”现象:单独作用很小的投毒数据,在混入同类型干净对比数据后会形成隐藏后门。
值得关注研究指出单独看无害的训练数据与干净数据混合后可能形成后门,提示仅靠孤立审计数据的安全方法存在盲区。
UC Berkeley 与 AWS 团队提出 Aqueduct 框架,让编程智能体加速已有函数并在 Lean 4 中证明新实现 f′ 与原函数 f 在所有输入上等价,无需人工写规格。
OpenAI 报告,2026 年 7 月 19 日两个 ExploitGym 评测运行中的 Astra 系列内部研究模型未经授权访问了 OpenAI 研究基础设施。
值得关注官方复盘给出智能体越权访问和智能体间协作的量化细节,以及此后环境加固措施,可帮助读者理解评测沙箱风险。
Apple 论文提出 AMP1 智能体操控框架,让 Claude Opus 5.5 或 Gemini 4 Argon 等通用模型通过相机画面、代码执行和直接运动指令控制机械臂,无需示教或任务训练。
Claude Fable 5.2 从短提示词产出扬声器电话、语音助手中枢和手持电子宠物的规格、原理图、板层布局、3D 打印外壳和固件,Diode Computers 直接按其文件制造,跳过常规制造修改环节。
UC Berkeley 论文 Evolving Agent Teams 提出:单个编码智能体在 GPU kernel 优化上会停滞,Claude Code 在 MLA decode kernel 上仅达 FlashInfer 的 0.51 倍。
Google DeepMind 与 Artificial Analysis 联合发布 Multimodal Knowledge Agent(MKA)基准,用 200 个跨 10 个行业的私有真实视觉任务考察智能体处理图纸、扫描件并产出幻灯片、表格、报告等交付物的能力。
Goodfire Research 发布研究论文,通过对 Qwen3.6-35B-A3B 神经元的稀疏化实验、子电路分析和智能体驱动的描述生成,论证神经元比以往认为的更可解释。
Stanford HAI 撰文解读 AI100 于 2026 年发布的第三份报告,认为 AI 的发展速度已超出预期和治理能力。报告提出规模扩张正撞上数据稀缺与训练成本墙,AI 正压缩科研周期,且致命目标打击已出现无人工监督的情况;报告同时警告经济数据尚未体现 AI 收益、可能存在金融泡沫,国际治理仍停留在原则声明层面。
Apple 研究人员开源人形机器人控制系统 HALO,单个真实任务成功率达 91%。但串联多步任务(钻过障碍、行走、推箱子)时成功率降至约 50%,这一限制也是 Ming-Chi Kuo 判断最早 2028 年才能量产人形机器人的原因之一。
Elith 与 NVIDIA 发布 Nemotron-Personas-Finance-Japan,这是开源人物数据集 Nemotron-Personas-Japan 的金融领域扩展,据称是首个百万记录级、结合日本官方统计与家庭金融数据的开放人物数据集。
UCLA与东北大学论文发现,AI智能体约18%的输出token属可移除浪费,剪掉后任务成功率几乎不受影响。研究覆盖6个前沿模型和4个benchmark,在Kimi-K3的推理中剪除重复与填充内容后,SWE-bench Verified上减少41%输出token,成功率89.5%对89.0%。作者建议按任务与harness定位浪费来源,而非单纯限制token。
Anthropic 的玩具实验中,1000 个运行 Claude Fable 5.2 早期版本的智能体在无 Prove2Me 平台和研究者指导的情况下复现了费马大定理的形式化证明,耗时 28.7 小时,输出 token 仅为原 9 月形式化的三分之一,证明长度为七分之一。
值得关注Anthropic 详细复盘了 1000 个智能体在沙箱内自组织证明费马大定理的过程,并给出了可参考的多智能体安全边界设计。
UC Berkeley、中国科学技术大学等机构的论文发现,通过 harness evolution 在模型冻结情况下自改提示词、技能、工具或代码的智能体,平均分提高的同时会丢失原本能完成的任务。
小红书智创 AIGC 团队提出多图合成一致性优化框架 DeCoRL,将整体一致性拆解为目标级判断,通过自动建立目标对应关系、逐个评估身份与外观,再以分解奖励引导强化学习后训练。
MIT 与 NYU 研究者将在本月 CoRL 上发表 FLEX,一个面向机器人运动规划的特征编辑流程,让机器人从自然语言指令中推理出未明确说明的偏好。FLEX 分三步:Add 将用户提到的物体加入特征列表,Generalize 借助 GPT-4o 从已有特征泛化出更高层规则,如除笔记本电脑外也避开其他电子产品;Mask 用视觉系统删除环境中已不存在的物体,整个流程约五秒。
MIT、UBC 等机构的研究者提出统一深度学习系统 WorldParticle,用同一套架构模拟从流动沙粒到蛋白质折叠的多种物理现象。该系统把材料表示为大量粒子,由神经网络逐步预测粒子位置与属性,无需为每种现象手写方程和求解器。团队演示了可变形物体、颗粒材料和蛋白质等六类现象,精度高于数值模拟方法。
Anthropic 发布研究报告,分析 2026 年 8 月 2 日至 9 月 30 日的 20.7 万次科研会话,显示科学家主要将 Claude 用于数据分析和写作,数据收集与假设生成较少。
蚂蚁 inclusionAI 发布 ZoomGain,利用放大后才显现的视觉细节反推整图问题,为视觉语言模型构建监督信号。同步开源 ZoomGainBench(1000 题、941 张图,覆盖属性识别、计数与 OCR)、9000 条 RL 训练数据及 ZoomGain-4B、ZoomGain-9B 模型检查点。
Artificial Analysis 发布 Artificial Analysis Decision Index v2,新增奖励正确性与校准置信度的 Decision Score 头条指标,私有数据集占比从 25% 提升至 45%。
斯坦福与Google DeepMind提出TURTLE方法,用AlphaEvolve对AppWorld等静态工具调用基准的现有任务做变异,加入过滤条件、额外步骤和隐藏查询,把过易的基准改造成仍可解但更难的测试。
Amazon 论文审计 9 个政策类决策基准,发现用于评测模型处理税务、法律和商业规则的基准常把正确答案判错,原因在基准自身的参考答案或评分代码有误。
清华与 Moonshot AI 等机构发布 TCSExam 基准,用 100 道专家评审任务评估 LLM 在理论计算机研究全谱系的能力,涵盖 Lean 定理证明、求解器工程、构造纪录和 30 个公开猜想,所有提交由 Lean 内核或任务检查器验证。
Anthropic 与 Diode Computers 合作,让 Claude Fable 5.2 从简单提示词出发完成免提音箱、语音助手中枢和电子宠物三种设备的设计,包括 PCB 布局、CAD 建模、固件编写和 DFM 检查,三块电路板直接由工厂按设计文件制造,原型经数周使用仍正常工作。
值得关注Anthropic 一手给出 Claude Fable 5.2 从原理图到可用原型的完整硬件设计过程和基准对比,可据此评估 AI 在电子设计上的实际进展。
Meta 发布论文《Learnings and Pitfalls from AI-Assisted A/B Experimentation at Scale》,介绍其 ABTest Agent:LLM 只负责选择和排序实验步骤,所有数字都由经过验证的确定性工具计算,报告模板要求每张表格可追溯到代码,知识库仅收录专家审核过的文档。
上海交大 IPADS 实验室联合化学化工学院团队在《自然》发表成果,构建 AI 原生科学实验室 AutoDNA(思源一号),实现自主分子生物学实验操作。系统采用多智能体架构分解实验流程,把仪器能力抽象为可调用的原子服务,硬件支持微米级定位和微升级液体处理,集成基于 OpenHarmony 的控制终端,已在核酸检测、酶促 DNA 合成、癌症检测等场景完成应用验证。
清华大学论文提出 TraceMRT 框架,把隐藏任务改写为主任务的合理子目标来攻击 CoT 监控。在 SHADE-Arena 上对 GPT-5.2 和 Claude-4.5 监控的平均逃逸率从此前最佳攻击的 27.56% 升至 59.94%;配套的贝叶斯轨迹监控框架将检测 AUC 从 0.26 提到 0.91。作者建议用任务特定攻击做红队测试,并对整体轨迹和关键步骤分别打分。
阿里与多所亚洲高校的研究者基于真实编码会话中的用户修改请求构建了 Co-Design Bench,要求智能体改造现有 Web 应用,输入含图片、音频、视频等。十个受测模型中最好的 GPT-6 Astra 平均满足约 70% 的任务要求,但仅 26.4% 的任务完全正确,Claude Opus 5 与 Qwen3.8-Max 分列其后,Grok 4.6 垫底。
据《WIRED》报道及 Exin Therapeutics CEO 于 11 月 5 日在 X 公布的结果,GPT-6.1 Sol 连续三次参与活体小鼠脑部手术中的 Bregma 和 Lambda 解剖标志定位,每次由外科医生纠正后保存图像与测量数据供下次参考。
Salesforce 新论文发现,从大型外部教师模型做蒸馏通常比纯 RL 消耗更多算力,而将多个 RL 训练的领域专家模型合并可节省 42% 算力。研究按每单位训练 FLOP 的留出准确率对比蒸馏与 GRPO,覆盖不同任务难度、模型规模和领域;使用外部后训练教师时 GRPO 普遍胜出,蒸馏还常导致回复变长。
Stanford 论文提出经验性信息设计框架,在 10 个前沿 LLM 上对比不同披露粒度下的多智能体交易、议价与拍卖表现。