cloudrift-ai /
emmy
Emmy est un compilateur Python qui transforme des modèles PyTorch en noyaux CUDA optimisés pour l’inférence de LLM, avec benchmarking et déploiement sur des GPU locaux ou cloud. Il s’adresse aux développeurs qui veulent accélérer le service de modèles.
Résumé écrit par une IA à partir de la description et du README du dépôt.
Mis à jour il y a 1 min
+4 étoiles gagnées cette semaine
Étoiles gagnées chaque jour, sur 30 jours
Rythme habituel · 1 / jour
4 oct.19 oct.Aujourd’hui
Cette semaine Avant Rythme habituel
Sur GitHub
Optimized GPU compiler for LLM inference. Choose from a list of optimized recipes or optimize your own model via kernel fusion, autotuning, and advanced scheduling. Run benchmarks across different GPU types and configurations, track results and share experiments with the community.
La description écrite par ses auteurs sur GitHub.
cloudrift-ai / emmy
Voir sur GitHub(nouvel onglet)