← 返回博客主页

阅读 0

Helion 内核 DSL 集成进 vLLM：单套 GEMM 实现加自动调优，在 Hopper 上超越默认后端

今日概览

PyTorch 博客今天介绍了一项将 Helion 内核 DSL 集成进 vLLM linear backend 的工作。其核心是一个通过可调参数覆盖 Standard、Split-K、Swap-AB 三种算法变体的统一 GEMM 实现，配合 AOT autotuner 做 per-shape 调优，并采用基于 runtime num_tokens 与 CUDA Graph 覆盖的 hybrid dispatch 策略。该 backend 在 NVIDIA Hopper GPU 上超越 vLLM 默认的 CUTLASS/DeepGEMM 后端，部分负载吞吐提升超过 10%。

重点变化

1. Building a High-Performance and Portable vLLM Linear Backend with Helion

PyTorch 博客介绍了将 Helion 内核 DSL 集成进 vLLM linear backend 的工作，聚焦 NVIDIA Hopper GPU 上的 Helion Triton backend。一个统一的 GEMM 实现通过 split_k、swap_ab 等可调参数覆盖 Standard、Split-K、Swap-AB 三种算法变体，由 AOT autotuner 针对 FP8_Dynamic、W8A8_INT8、Block_FP8 等量化 GEMM 格式做 per-shape 调优并自动选择最优变体与配置。调度采用 hybrid dispatch：小 shape 走 Helion CUDA Graph replay，大 shape 回退 CUTLASS/DeepGEMM，覆盖 num_tokens 为 1、2、4、8、16、24、32 的调优点。调优种子由 LLMSeededLFBOTreeSearch（Claude Opus 4.8）生成。

为什么重要： 该工作展示了高层 kernel DSL 如何以单一实现覆盖多种算法变体和量化格式，用 AOT 自动调优替代手工内核特化与人工调度启发式，在降低内核开发复杂度的同时仍取得端到端性能收益，部分负载吞吐提升超过 10%；同时，用 LLM 生成调优种子来引导搜索空间探索，也为编译器与内核自动调优提供了新的方法论参考。

涉及层级： kernel_codegen、optimization、hardware_backend、runtime、benchmark

来源： 原始来源 1

事件评分： 77.8/100

值得继续观察

• Helion kernel DSL
• vLLM linear backend
• AOT autotuning 与 LLM-guided search

数据与生成说明

• 采集窗口：2026-10-02T08:00:00+08:00 至 2026-10-03T08:00:00+08:00
• 生成模式：deepseek
• 文章由程序根据一手来源生成；性能结论应以链接中的原始配置为准。
• 原始条目：PyTorch 2 条

评论