flashinfer

FlashInfer est une bibliothèque de noyaux GPU pour l’inférence de LLM, offrant des opérations d’attention, de GEMM et de MoE avec plusieurs backends. Elle s’adresse aux ingénieurs qui développent des systèmes de service de LLM à faible latence.

Résumé écrit par une IA à partir de la description et du README du dépôt.