← 返回博客主页

阅读 0

Triton 3.8.0 发布，新增 Rubin 初始支持与三款插桩调试工具；PyTorch 北美大会 2026 议程披露 vLLM 多项服务栈进展

今日概览

今日两条主线：Triton 3.8.0 正式发布，前端公开 aggregate 类型 API，后端把通用 multi-CTA 与 TMA 支持扩展到更多算子，并新增 FpSan、GSan、ConSan 三款编译器插桩工具；硬件侧同时扩展 AMD gfx1250/CDNA5 与 NVIDIA Rubin (SM107) 支持。另一方面，PyTorch 北美大会 2026 议程中的多场 vLLM 演讲披露了分层 KV cache offloading、disaggregated serving、TPU backend 与 Triton 算子栈等进展，其中性能数据来自演讲者报告。

重点变化

1. Triton 3.8.0 Release Notes

Triton 3.8.0 发布。前端将 @triton.aggregate 与 @gluon.aggregate 转为公开 API，并为 tl.topk 增加 descending 参数；编译器后端把通用 multi-CTA 支持扩展到 layout conversion、reduction、TMA gather/scatter 与 multicast，同步更新 barrier 插入与内存分析。新增三款插桩调试工具：FpSan 检查浮点计算一致性（支持 NVIDIA 与 AMD gfx942/gfx950/gfx1250），GSan 检测 GSan 分配器所管理内存中的数据竞争，ConSan 扩展 AMD 支持并覆盖多 CTA kernel、barrier、TMA、multicast 与 Cluster Launch Control。AMD 后端大幅扩展 gfx1250/CDNA5 的 TDM 软件流水、WMMA、scaled dot 与 warp pipelining 支持，新增 gfx906 目标并在 RDNA 上启用 in-thread transpose；NVIDIA 后端加入 Rubin (SM107) 初始支持、四路 FP8/FP4 打包算术、int8 MMAv5、Blackwell FP64 矩阵乘、TMA im2col 以及 Gluon kernel 的 Cluster Launch Control。

为什么重要： 一次发布同时推进了抽象层与硬件层：multi-CTA 与 TMA 的通用化让更多算子能跨 CTA 边界并利用硬件加速的数据搬运，而三款插桩工具把浮点一致性、数据竞争与并发错误从手工排查变成编译器自动检查。对 Rubin 与 CDNA5 的同步支持意味着 Triton 正在下一代 NVIDIA 与 AMD 硬件上市前完成适配，为依赖它的上层框架争取了提前量。

涉及层级： frontend、tensor_ir、optimization、kernel_codegen、hardware_backend、runtime

来源： 原始来源 1

事件评分： 95.8/100

2. vLLM Sessions at PyTorch Conference North America 2026

PyTorch 北美大会 2026 议程列出一系列 vLLM 演讲，披露服务栈最新进展：原生分层 KV cache offloading 框架已上游集成且无外部依赖，以 CPU 内存为传输枢纽，与硬件、attention backend、并行策略和模型架构解耦；disaggregated serving 新增 hybrid-model transfer、双向 KV 传输、KV Push connector 与 KV cache lease，演讲者称 KV Push 可降低 TTFT，且在 Nemotron 上 disaggregated prefill/decode 在各并发级别 Pareto 优于 co-located serving。硬件可移植性方面，新的 PyTorch-native TPU backend 让 SGLang 与 vLLM 运行于 TPU，覆盖 torch.compile lowering、Pallas attention、FP8 与 MoE 执行；Torch-Spyre 为 IBM Spyre 提供 PyTorch PrivateUse1 设备与 Inductor backend；FlagOS 基于 Triton 的算子、编译器与运行时层经 vllm-plugin-fl 接入 vLLM，演讲者称已在 20 余款芯片上完成 Day-0 模型适配。另有 Elastic Expert Parallelism、vLLM-Omni 自动前缀缓存、CUTLASS CuTe Python DSL 与若干 AI 辅助 kernel 优化工具链。

为什么重要： 这批演讲显示 vLLM 生态的重心正从单 GPU kernel 优化扩展到异构硬件可移植性与分布式服务能力：Triton 与 torch.compile 成为多个加速器接入 LLM 服务的共同通道，KV cache 与专家并行等机制则在解决服务层面的延迟与弹性问题。值得注意的是其中多项性能与兼容性数据来自演讲者报告，尚未经独立验证，后续开源与上游集成情况值得跟踪。

涉及层级： optimization、kernel_codegen、hardware_backend、runtime、distributed、benchmark

来源： 原始来源 1

事件评分： 75.5/100

值得继续观察

• Triton 通用 multi-CTA/TMA/multicast 支持扩展
• Triton FpSan、GSan、ConSan 编译器插桩工具
• NVIDIA Rubin (SM107) 后端初始支持
• AMD gfx1250/CDNA5 TDM 与 WMMA 支持
• vLLM 分层 KV cache offloading 上游集成
• PyTorch-native TPU backend 与 SGLang/vLLM TPU 支持
• FlagOS Triton 算子栈与多芯片 Day-0 适配
• CUTLASS CuTe Python DSL 与 Elastic Expert Parallelism

数据与生成说明

• 采集窗口：2026-08-28T08:00:00+08:00 至 2026-08-29T08:00:00+08:00
• 生成模式：deepseek
• 文章由程序根据一手来源生成；性能结论应以链接中的原始配置为准。
• 原始条目：NVIDIA 1 条，PyTorch 1 条，triton-lang/triton 1 条

评论