Together AI 研究与产品博客·2026-03-05 08:00· 2026-03-05AI 评分64

Together AI 发布 FlashAttention-4：算法与内核协同设计应对非对称硬件扩展

FlashAttention-4: Algorithm and Kernel Pipelining Co-Design for Asymmetric Hardware Scaling

AI 导读

Together AI 发布 FlashAttention-4，通过算法与内核协同设计最大化 Blackwell GPU 上矩阵乘与 softmax、显存操作的并行重叠。