← 返回博客主页
阅读 0

cuTile Rust：把 Rust 的所有权安全带到 GPU kernel，性能对齐 cuBLAS

今日概览

今日值得关注的是 cuTile Rust，一个基于 tile 的 Rust GPU kernel 编程系统：它把 Rust 所有权纪律扩展到 GPU kernel 并编译到 Tile IR，证明安全 surface 无数据竞争，将边界检查移出 kernel，并在 B200 上以 GEMM 98% cuBLAS 的性能支撑起与 vLLM、SGLang 持平的 Qwen3 推理引擎 Grout。

重点变化

1. Fearless Concurrency on the GPU

cuTile Rust 提出一种基于 tile 的 Rust GPU kernel 编写系统：kernel 编译到 Tile IR，Rust 的所有权纪律被延伸到 GPU kernel，可变输出被拆分为不相交的部分，编译器在 kernel 内强制执行所有权规则，并证明安全 surface 在 Tile IR 内存模型下无数据竞争。编译器会消除可证明冗余的边界检查，并将其余检查提升为 host 端 launch precondition。host 端通过统一的可组合执行模型支持同步、async/await 与 CUDA graph replay，async 执行与同步执行性能持平。在 NVIDIA B200 上，逐元素操作达到 7 TB/s，GEMM 达到 2.1 PFlop/s（约为 cuBLAS 的 98%），与 cuTile Python 持平；基于 cuTile Rust 构建的 Qwen3 推理引擎 Grout 在 batch-1 decode 下，Qwen3-4B 在 RTX 5090 上达到 171 token/s，Qwen3-32B 在 B200 上达到 82 token/s，与 vLLM 和 SGLang 持平，并与内存带宽 roofline 分析一致。

为什么重要： 这项工作把 Rust 的内存安全纪律延伸到 tile-based GPU kernel，用类型系统而非约定来防止数据竞争，同时通过把边界检查移出 kernel 热路径证明安全抽象不必然付出性能代价。对 AI 编译器而言，它同时展示了前端语言到 Tile IR 的可行编译路径，以及安全、可组合的 host 执行模型如何支撑端到端 LLM 推理引擎。

涉及层级： frontend、tensor_ir、optimization、runtime

来源： 原始来源 1

事件评分： 74.3/100

值得继续观察

  • cuTile Rust 与 Tile IR 的生态演进
  • Grout 推理引擎的开源进展与更大模型扩展
  • Rust GPU kernel 安全模型在更多硬件上的推广

数据与生成说明

  • 采集窗口：2026-09-17T08:00:00+08:00 至 2026-09-18T08:00:00+08:00
  • 生成模式：deepseek
  • 文章由程序根据一手来源生成；性能结论应以链接中的原始配置为准。
  • 原始条目：arXiv 2 条

评论