← 返回博客主页

阅读 0

ExecuTorch 把 PyTorch 带进 Cortex-M 微控制器，Meta 借 Helion 与协同设计推进异构硬件

今日概览

10 月 16 日三条动态分别覆盖端侧推理、训练协同设计与推理 kernel 三个层面：ExecuTorch 新增 Arm Cortex-M CPU 后端，用 AOT 编译 pass 把 PyTorch 算子替换为 CMSIS-NN 内核并支持与 Ethos-U NPU 同图分区，将部署范围扩展到 MCU 级设备；Meta 发表面向 AMD Instinct MI350X 的端到端协同设计论文，借分析性能模型与 agentic workflow 在推荐模型训练上取得相对直接移植基线最高 1.5 倍吞吐提升；Muse Spark Open 以开放权重发布并落地 Helion DSL 算子，在 NVIDIA GB300 上相对 CUDA/CuTe 自定义 kernel 获得最高 3.95 倍加速，同时支持在 AMD MI350 上直接移植。

重点变化

1. Bringing ExecuTorch to Arm Cortex-M CPUs

ExecuTorch 新增 Arm Cortex-M CPU 后端：通过 AOT 编译器 pass 把标准 PyTorch 算子替换为 CMSIS-NN 自定义算子，覆盖 Scalar、DSP 与 MVE/Helium 三种能力层级，CPU 变体与 ISA 层级在编译期指定以消除运行时分发开销。新引入的 CortexMQuantizer 基于 PT2E 生成匹配 CMSIS-NN 布局的 INT8 图，图级优化会消除冗余 dtype 转换与量化/反量化对、把 scale 和 zero-point 预计算为整数乘移形式、在导出期把权重从 OIHW 转置为 OHWI，并做静态内存规划以支持 TCM/SRAM 等异构内存。该后端可与 Ethos-U NPU 分区在同一图中混合执行，未覆盖算子回退到便携内核。在 Alif Ensemble E8 的 Cortex-M55 上，MLPerf Tiny 四个模型延迟不超过 21.5 ms、峰值 RAM 低于 90 KiB；另在 Renesas EK-RA8D1 的 Cortex-M85 上以 24 ms 每帧运行 µYOLO 实时行人检测。

为什么重要： 它把 PyTorch 的部署范围从服务器和移动端延伸到 MCU 级设备，核心理念是算子选择、内存规划与权重打包全部在编译期完成，避免运行时开销；CPU 与 Ethos-U NPU 在同一图中混合分区则让 tinyML 开发者无需维护两套独立流程，为端侧 AI 编译器把异构硬件统一进单一图表示提供了一个完整范例。

涉及层级： frontend、graph_ir、optimization、kernel_codegen、hardware_backend、runtime、benchmark

来源： 原始来源 1

事件评分： 83.8/100

2. Architecting for Hardware Diversity: Meta’s End-to-End Co-Design for High-Performance AI Training on AMD GPUs

Meta 发表面向 AMD Instinct MI350X 的端到端软硬件协同设计论文，以推荐模型训练为例并与 NVIDIA B200 对比。方法包含三部分：硬件-模型协同设计，针对 MI350X 相对 B200 高 1.6 倍的 HBM 容量修订模型结构与软件配方；用分析性能模型在不同数据类型与矩阵形状下实现零预热的最优 kernel 选择；以及扩展 agentic workflow，用于微架构感知的 kernel 优化与自定义 shim 生成。相比直接移植基线，这套方法带来最高 1.5 倍的端到端训练吞吐提升，相关成果已上游合入 PyTorch、Triton 与 ROCm。

为什么重要： 它提供了一个把训练负载从 CUDA 生态移植到其他加速器的可复用方法论：不依赖逐 kernel 手工调优，而是用分析性能模型消除预热开销、用 agentic workflow 降低移植门槛，并证明按硬件特性修订模型结构能获得单纯移植无法带来的收益。这对 compiler 优化与 kernel 代码生成层同样有借鉴意义，也直接惠及开源生态。

涉及层级： kernel_codegen、hardware_backend、optimization、benchmark

来源： 原始来源 1

事件评分： 81.0/100

3. Muse Spark Is Now an Open-Weights Model

Meta 发布开源权重的 Muse Spark Open 模型，并随其推出基于 PyTorch 原生高性能 kernel DSL Helion 的算子实现，覆盖 RoPE、RMSNorm、量化等算子。在 NVIDIA GB300 上，这些 Helion kernel 相对用 CUDA/CuTe DSL 编写的自定义 kernel 获得 1.03 至 3.95 倍加速，同一批 kernel 可直接移植到 AMD MI350，端到端吞吐提升 3%。SGLang 中同步推出完全由 Helion 编写的 megakernel，把多个算子融合为单一 persistent kernel 以改善低延迟推理，并可针对不同形状与硬件自动调优。TorchTitan 新增 Muse Spark Open 模型定义，原生支持多轮 SFT、LoRA 及 TitanRL 强化学习微调。

为什么重要： Helion 是检验 PyTorch 原生高抽象 kernel DSL 能否在生产模型中替代手写 CUDA/CuTe 的真实案例：跨 NVIDIA 与 AMD 的可移植性加自动调优意味着单一实现可以覆盖多种硬件，减少为每个配置维护手写内核的成本，同时 megakernel 的融合策略直接影响低延迟推理性能，值得关注其对 kernel 代码生成与调度层设计的影响。

涉及层级： kernel_codegen、hardware_backend、runtime、benchmark

来源： 原始来源 1

事件评分： 62.4/100

值得继续观察

• Helion DSL 与 SGLang megakernel 在更多硬件和工作负载上的性能与生态进展
• ExecuTorch Cortex-M 后端与 Ethos-U 分区工具的后续成熟度及新基准数据
• Meta MI350X 协同设计与 agentic kernel 工作流是否扩展到其他模型和加速器
• 上游合入 PyTorch、Triton、ROCm 的成果对开源生态的实际影响

数据与生成说明

• 采集窗口：2026-10-15T08:00:00+08:00 至 2026-10-16T08:00:00+08:00
• 生成模式：deepseek
• 文章由程序根据一手来源生成；性能结论应以链接中的原始配置为准。
• 原始条目：NVIDIA 2 条，PyTorch 2 条，arXiv 7 条

评论