LLM · 微调工程 · TRL 1.17.0 · 10.29ML4 的 FP8 LoRA 示例把容量需求落到具体配方
TRL 1.17.0 新增 ML4 FP8 权重上的 SFTTrainer + LoRA 示例,官方报告在单个 8×B300 节点运行:每 GPU 约 142 GiB、约 32.7k token/step、约 8 秒/step;LoRA 训练 attention 和 dense/shared-expert MLP。
研发影响:领域适配可从该精确配方估算容量与成本,同时锁定 packing、assistant-only loss 与训练模板;依赖为 Transformers≥5.22、PEFT≥0.21、Accelerate≥1.15。
边界:是指定硬件和任务下的官方 LoRA 测量,不是全参数训练,也不代表任意序列长度、视觉输入或硬件下的资源需求。该版本的 RL 算法更新仅作次要跟踪。
LLM · 训练 / 推理 · Megatron Core 0.20 · 10.30大 MoE 的计算、通信与恢复开始一起演进
core_v0.20.0 加入 DeepSeek V4 HybridModel、只训练 MTP head 的模式,以及实验性 Megatron-FSDP v2 适配;MoE 通信补上 DeepEP v2 和 NCCL EP MXFP8 路径。
研发影响:可将 draft head 训练、低精度 expert 通信和模型分片纳入大模型工程方案;同时把恢复测试与模型/优化器状态纳入验证。
边界:FSDP v2 适配要求 TP=1、expert TP=1;其优化器 checkpoint 暂不覆盖 EP 布局。实验性路径需与稳定训练配置分开,不能把“支持模型架构”解释为任意并行组合已可恢复。
VLM / 视频 · 训练与微调 · VeOmni · 10.28 / 30算子配置进入模型配置;Wan 序列并行补上梯度一致性回归
#1379 将 ops 选择从进程全局配置改到模块所属 config,可序列化、保存/重载,并覆盖 Transformers、Diffusers 与组合模型;移除 veomni.ops.config 是 breaking change。
#1251 在已重构的 Wan T2V 路径上新增 SP=2 与 SP 关闭的输出/梯度回归,覆盖非整除序列、逐 token timestep 与 gradient checkpointing;SFT/LoRA 示例改用 SP 兼容的 attention。
研发影响:多模型混训应把算子选择随 checkpoint 一起固化;视频微调不能只检查 loss 下降,还需验证 padding、RoPE、timestep 和梯度在并行前后对齐。两项均为 main 已合并提交,不宣称已进入最新稳定 release。
LLM / VLM · 推理 · vLLM · 10.29ML4 day-0 交付在专用镜像,DCP 不是一律更快
官方 vllm/vllm-openai:mistral-large-4 镜像提供 ML4 与 DSpark;模型跑在 MRV2 和 breakable CUDA graphs 上,同时支持图像输入与 FP8/NVFP4 checkpoint。
研发影响:先锁镜像/权重/解析器,再按 KV 容量选择 DCP。官方在同一 8×GB300 NVFP4 配置中观察到 DCP8 可扩容量,但解码每 token 比 TP8 慢约 16%—28%;KV 仍够用时并非净收益。
边界:这是专项镜像与技术博客,不把 10.18 的 v0.32.0 旧 release 改写成本周新版本;性能为团队自报、依赖上下文和并发,不外推到其他硬件或模型。
多模态 / 视频 · 推理服务 · vLLM-Omni 0.32 · 10.28多节点与实时服务进入同一版本,版本对齐要一起锁
0.32.0 发布可选 Ray 多节点推理、会话感知副本放置与多前端双工服务;增加 realtime VAD 及 TaoMate-H3 实时 AR-diffusion 流式路径,改进失败隔离。
研发影响:多阶段多模态服务应将会话路由、阶段错误和输出接口兼容性纳入端到端测试。该版本明确绑定 vLLM 0.32.0 与 Python≥3.11,<3.14,输出类型别名将被拒绝。
边界:代码框架发布不代表新模型权重首发,也不意味着每个模型都有相同的多节点/流式能力;具体按模型 recipe 验证。
视频生成 · 推理服务 · SGLang Diffusion · 10.29取消视频任务开始真正释放执行资源
#47055 让 DELETE /v1/videos/{id} 除删除记录外还能取消计算:排队任务不启动,运行任务在当前去噪步之后退出;序列并行各 rank 通过 CPU group 对齐停止步。
研发影响:视频服务的取消、超时和配额回收应验收 GPU 任务实际终止;仅删数据库记录会让昂贵生成继续占副本。
边界:main 已合并;本次通道限单节点 monolithic,运行中的 dynamic batch 单请求移除另待实现。不是 instant kill,也不能宣称跨节点取消已支持;最近稳定 v0.5.22 发布在 10.19,不算本周新闻。
视频生成 · LoRA / 推理 · FastVideo · 10.29LoRA 未加载与零强度路径应保留基座行为
#2028 修正 LoRA wrapper 在 adapter 缺失时崩溃,统一回退基座层;编译范围收窄到 adapter delta,避免单独编译 packed NVFP4/FP8 基座线性层改变数值。
研发影响:按请求加载视频 LoRA 时,需把未加载、加载失败、scale=0 和量化基座列为回归路径;零强度 adapter 应与未包装的基座一致。
边界:已合并 main,未将其包装成新稳定版本或训练算法;这是共享 LoRA 运行路径的正确性修复,没有通用加速倍数。另一个 #2042 fused-kernel 优化在上海时间 11.02 才合并,排除本期。