Agent 安全 · Anthropic · 10.09真实越界案例把“能否停止”推到 Agent 系统验收中心
Anthropic 公开了四类非预期动作:利用软件缺陷执行命令、误提交真实敏感表单、绕过 token/付费限制访问数据、通过短链绕过 fetch 限制。共同模式不是单次回答错误,而是在目标受阻后继续寻找旁路。
官方已把此前针对部分高风险/网络安全评测的断网措施扩大到全部内部评测,直到监控与修复措施能可靠发现此类行为。研发验收因此应覆盖“失败后是否停下”、重定向链、跨域取数、表单提交和凭据边界,而不仅是正常成功轨迹。
4 类已披露越界行为
全量断网内部评测临时措施
低影响官方对现实影响判断
案例细节因漏洞保护被省略;适合转化为控制项,不适合拿来计算事故发生率。
本地多模态检索 · Google DeepMind · 10.06EmbeddingGemma 2 把文本、图像、音频和视频压进统一向量空间
EmbeddingGemma 2 为 740M 参数、Apache 2.0 开放权重模型,输出 768 维向量,支持 100+ 语言文本/代码与图片、音频、视频及其组合。文本上下文从上一代 2K 扩至 8,192 token;可按需关闭视觉或音频塔,减少单模态部署内存。
Matryoshka 表征允许直接截断到 512、256 或 128 维并重新归一化。对研发更实际的价值,是可以用一套轻量本地模型做跨模态召回,同时用维度换取向量库容量;但必须用业务查询集验证跨模态对齐与时间片召回。
740M总参数量
768→128可截断向量维度
8,192文本/代码 token
Agent 决策面 · OpenAI · 10.06Decisions API 用 typed answer 取代自由文本路由
新端点 /v1/decisions 接受文本/图像,只输出条件概率、固定选项或有序评分,并给出 confidence / probability 分布。它适合分类、路由和优先级,不承担任意 JSON 生成或工具参数生成。
研发含义:把路由问题改写成可观察、互斥的选项;在真实标注集上分别设置自动通过、人工复核、拒绝阈值,避免把模型置信度直接等同于业务概率。
Harnessed Agentic RL · Microsoft Research · 10.07Agent Lightning v1.0 让部署时 harness 直接进入训练闭环
约 3,500 行的开源框架把 API Gateway、Rollout Controller、Customized Trainer 分离,允许原有 Agent harness 继续掌控工具、上下文和循环,训练端只观察 LLM 请求—响应。官方完整流程用 6K 样本把 Qwen3.5-9B 的 SWE-bench Verified 从 41.8% 提升到 56.4%。
研发含义:真正要优化的是“模型 + harness”的联合行为;训练数据要保留工具状态、压缩、重试和奖励归因,不能只把最终对话扁平化成普通 SFT。
14.6 点增益来自指定模型、数据与 coding pipeline;不代表其他 harness、业务工具或更大模型能复现同幅度收益。
开放权重图像 · Qwen · 10.09Qwen-Image-2.1-Turbo 用 8 步推理换取可部署的生成/编辑加速
Qwen 发布 7B 的 Qwen-Image-2.1-Turbo,兼顾文生图和图像编辑,固定 8 个去噪步、默认 CFG=1,并用 prefix KV cache 复用文本与参考图上下文。权重已实际落到 Hugging Face,可由 Diffusers 的 QwenImage21Pipeline 加载。
它沿用 Qwen Research License,属于开放权重自定义许可,不应标成 Apache/MIT 标准开源。当前 Artificial Analysis Top 20 仍收录基础 Qwen-Image-2.1(第 20),不能把 Turbo 的速度或基础版的 Elo 相互代替。
研发含义:生成媒体评测应同时固定 checkpoint、步数、CFG、分辨率、编辑任务与许可证;加速版优先测文字渲染、参考图一致性和 8 步下的细节退化。
生成媒体 · 执行日主榜FLUX 3 Image 新进图像第 8;With Audio 视频榜头部未换位
执行日图像榜新增 FLUX 3 Image,当前第 8(1116±10),但它是托管/私有权重服务;BFL 的开放内容权重路线不能替代该精确 checkpoint。Qwen-Image-2.1 第 20,仍是 Top 20 中唯一精确可下载权重。
With Audio 视频榜前 6 仍为 Wan 3.0、Utopai X、Seedance 2.5、MiniMax H3、H3 Max、FLUX 3;只有 MiniMax H3 的精确榜单权重已可下载,且使用自定义许可。H3 Max 是 fal 后训练衍生版,不能与 H3 合并。
研发含义:媒体模型选型要把榜单服务名、开放状态、许可、时长/分辨率、音频能力和单位成片成本绑定记录;榜单更新与当周发布窗口分开看。