【NativeSparseAttentionTriton:高效实现原生稀疏

爱生活爱珂珂 2025-02-25 12:23:34

【Native Sparse Attention Triton:高效实现原生稀疏注意力(NSA)机制的Triton版本,为大规模训练加速!亮点:1. 基于Triton实现,性能显著提升;2. 支持多种稀疏注意力模式,灵活度高;3. 提供完整的测试和基准,优化效果一目了然】

'Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention'

GitHub: github.com/XunhaoLai/native-sparse-attention-triton

0 阅读:0
爱生活爱珂珂

爱生活爱珂珂

感谢大家的关注