← 返回博客主页
阅读 0

AMD XDNA NPU 上的 FlashAttention 融合 kernel：开源编译器工具链实现 2 倍吞吐与 5 至 7 倍能效

今日概览

今日聚焦 AMD XDNA NPU 的开源编译器映射实践：一项 FlashAttention 案例研究对比四种映射设计，融合 kernel 在 XDNA 2 上实现端到端 3.62 TFLOP/s、为 IRON 设计的两倍吞吐，并给出基于 Roofline ridge point 的融合决策准则与开源参考实现。

重点变化

1. Programming AMD XDNA NPUs with Open-source Compiler Tools: A FlashAttention Case Study

该研究以 FlashAttention 为案例，探索用开源编译器工具链 IRON 与 MLIR-AIR 在 AMD XDNA NPU 上映射多阶段注意力工作负载。作者对比了四种参考设计：逐算子独立执行、两种片上流式方案，以及将三个注意力阶段融合为单个 kernel 的设计。融合 kernel 将 QK^T 分数驻留在计算 tile 局部内存中，经级联互连归约，避免写回共享 MemTile 内存。在 XDNA 2 上，融合设计端到端达到 3.62 TFLOP/s，为 IRON 设计的两倍，能效是同芯片集成 GPU 的 5.3 至 7.2 倍（2K tokens 及以上），覆盖从 BERT 到 DeepSeek 的 12 种 LLM 配置、最高 128K tokens。作者还基于逐级内存层级的 ridge point 进行 Roofline 分析，给出融合决策准则，并将参考设计以开源形式发布。

为什么重要： NPU 后端正成为编译器优化的新前沿，而数据在开源工具链中如何映射、何时融合，直接决定吞吐与能效。这项工作的价值在于给出了可复用的决策准则：通过比较运算强度与各内存层级的 ridge point，在写代码前即可预测融合是否有收益，例如 XDNA 1 的 ridge point 较低，片上流式已进入计算受限区间，同样的融合几乎无益。开源的参考设计也为后续 NPU 编译器研究提供了可对照的基线。

涉及层级： optimization、kernel_codegen、hardware_backend、benchmark

来源： 原始来源 1

事件评分： 76.6/100

值得继续观察

  • AMD XDNA / NPU 后端
  • MLIR-AIR 与 IRON 工具链
  • FlashAttention kernel 融合
  • Roofline / ridge point 分析
  • NPU 能效对比

数据与生成说明

  • 采集窗口：2026-09-18T08:00:00+08:00 至 2026-09-19T08:00:00+08:00
  • 生成模式：deepseek
  • 文章由程序根据一手来源生成；性能结论应以链接中的原始配置为准。
  • 原始条目：NVIDIA 1 条，PyTorch 1 条，arXiv 1 条

评论