← 返回博客主页

阅读 0

PyTorch Conference NA 2026 公布 Core PyTorch 议程：Dynamo 图捕获、CUDA Graphs 参数化与 C++ FakeTensor 领衔多项编译优化

今日概览

PyTorch Conference North America 2026 发布了 Core PyTorch 议程，集中披露了一批 AI 编译器与运行时技术进展。Dynamo 支持 nested graph break，将重复图打断的代价从 O(N) 降至 O(1)、frame trace 从 O(N²) 降至 O(N)；C++ 版 FakeTensor 在 aten.mm 上相对 Python 实现加速约 30 倍；parametrized CUDA Graphs 借助 torch.compile 的 symbolic tracing 与 guard 基础设施，用单张 CUDA Graph 覆盖动态 shape 场景。此外还公布了 unbacked dynamic shapes、基于 make_fx 的轻量级 FX tracer、DSL 算子进入 PyTorch core、设备感知 tensor layout、面向 AMD GPU 的 rocSHMEM symmetric memory 以及 Pyrefly 静态 shape 检查等议题，并附有具体性能数据。

⚠️ 本期数据不完整：

• 数据源 arxiv-ai-compiler 采集失败：network error while requesting （链接见原始来源） The read operation timed out

重点变化

1. Core PyTorch Sessions at PyTorch Conference North America 2026

PyTorch Conference North America 2026 公布 Core PyTorch 议程，涵盖多项编译器与运行时演讲。Dynamo 新增 nested graph break 支持，重复 graph break 成本由 O(N) 降为 O(1)、frame trace 由 O(N²) 降为 O(N)，可捕获更大计算图并缩短 trace 时间。torch.compile 引入 C++ FakeTensor，在 aten.mm 上相对 Python FakeTensor 加速 30 倍，而 FakeTensor 传播约占 Dynamo tracing 时间 20%。parametrized CUDA Graphs 结合 symbolic tracing 与 guard 基础设施，以单张 CUDA Graph 覆盖动态 shape，报告了推理服务性能提升与冷启动缩短。unbacked dynamic shapes 禁止对动态 shape 的隐式 guard，面向 vLLM、export、预编译与 JIT 部署场景。其他议题包括基于 make_fx 的轻量级 FX tracer、DSL 算子成为 PyTorch core 一等公民、支持 tiling 与 NUMA-aware 放置的设备感知 tensor layout、已进入 upstream PyTorch 的 rocSHMEM symmetric memory（以 Triton-callable 操作暴露），以及 Pyrefly 的静态 tensor shape 检查。

为什么重要： 这批演讲显示 PyTorch 团队正在系统性地压缩 torch.compile 的 tracing 与图捕获开销，并把目标从单一 AOT 场景扩展到 vLLM、JIT 与预编译等对重编译敏感的生产负载。nested graph break 的复杂度下降意味着更大模型和更长的 trace 不再线性累积开销；C++ FakeTensor 直击 Dynamo tracing 中占比约 20% 的热点，是编译前端性能的重要杠杆；parametrized CUDA Graphs 与 unbacked shapes 则试图在动态 shape 和免重编译之间取得平衡。对编译器开发者而言，DSL 算子入 core、设备感知 layout 和 rocSHMEM 的 upstream 化提示未来的图优化与 kernel 生成将更深度地耦合调度、内存布局与设备间通信，值得持续跟踪其在 Inductor 中的落地路径。

涉及层级： frontend、graph_ir、optimization、kernel_codegen、hardware_backend、runtime、distributed、benchmark

来源： 原始来源 1

事件评分： 76.3/100

值得继续观察

• Dynamo nested graph break 支持及其对超大模型 tracing 的实际收益
• C++ FakeTensor 在 Dynamo tracing 中的集成与更多算子的性能数据
• parametrized CUDA Graphs 与 symbolic tracing、guard 基础设施的结合
• unbacked dynamic shapes 在 vLLM、export 与 JIT 场景的落地
• 基于 make_fx 的轻量级 FX tracer 的定位与生态影响
• DSL 算子进入 PyTorch core 的 dispatch 与测试流程
• Inductor 对设备感知 tensor layout 的适配
• rocSHMEM symmetric memory 在 AMD GPU 上的内核内通信
• Pyrefly 静态 tensor shape 检查的符号整数与 shape-transform DSL

数据与生成说明

• 采集窗口：2026-08-27T08:00:00+08:00 至 2026-08-28T08:00:00+08:00
• 生成模式：deepseek
• 文章由程序根据一手来源生成；性能结论应以链接中的原始配置为准。
• 原始条目：PyTorch 1 条

评论