← 返回博客主页
阅读 0

KernelGenBench 发布：首个统一多源多芯片的 Triton kernel 生成评测基础设施

今日概览

今日焦点是 KernelGenBench 的发布，它以统一的 Triton 目标首次横跨多种算子来源与六个硬件平台评测 LLM 和 Agent 生成的 kernel，并揭示出跨平台正确率显著下滑与生成成本高昂这两个关键落差。

重点变化

1. KernelGenBench: Can LLMs and Agents Write Efficient Kernels Across Operator Sources and Hardware Platforms?

研究者发布 KernelGenBench，这是首个统一的多源、多芯片评测基础设施，用于评估 LLM 与 Agent 生成的 Triton kernel。其 Multi-Source 视图覆盖来自 PyTorch ATen、vLLM 与 cuBLAS 的 210 个算子，Multi-Chip 视图则在六个硬件平台上评测语义稳定的 110 个算子子集，总评测消耗超过 150 亿 token。结果表明 Agent 化执行能提升正确率，但没有单一方法在所有算子来源和硬件平台上占优：vLLM 算子构成最强的正确性挑战，cuBLAS 设定了最高的性能上限，而 AutoKernel 的正确率从 NVIDIA 上的 87% 骤降至 Iluvatar CoreX 上的 25%。改进代价高昂，专用 Agent 平均每个成功算子消耗 499 万 token，CUDA Optimized Skill 则达 625 万 token。

为什么重要： 这一结果对编译器领域的 kernel 代码生成与硬件后端工作有直接警示意义：在熟悉的数据源与硬件组合上表现好，并不能外推为部署就绪，算子来源、硬件平台与 Agent 脚手架是三个彼此独立的生成能力维度。统一的跨源、跨芯片基准为评估 LLM 生成 kernel 的泛化性与单位成功成本提供了可复现的标尺，也能帮助避免用单一平台指标对生成式编译方法作出过度乐观的判断。

涉及层级： kernel_codegen、hardware_backend、benchmark

来源： 原始来源 1

事件评分： 61.5/100

值得继续观察

  • KernelGenBench 评测集开源后，社区在六个硬件平台上的复现与扩展结果
  • AutoKernel 等 Agent 方法在非 NVIDIA 平台上的正确率改进进展
  • LLM/Agent kernel 生成的平均 token 成本与推理开销优化
  • vLLM 与 cuBLAS 来源算子的生成正确率及相对性能上限的后续追踪

数据与生成说明

  • 采集窗口：2026-09-09T08:00:00+08:00 至 2026-09-10T08:00:00+08:00
  • 生成模式：deepseek
  • 文章由程序根据一手来源生成；性能结论应以链接中的原始配置为准。
  • 原始条目：NVIDIA 2 条，arXiv 2 条，cuTile 1 条

评论