GGZ14 /
vllm-mxfp4
Un serveur d’inférence vLLM pour les GPU AMD Radeon AI PRO R9700, livré sous forme de conteneur avec ROCm, PyTorch, Triton et des noyaux optimisés pour RDNA4. Destiné à ceux qui font de l’inférence LLM locale sur cette carte.
Résumé écrit par une IA à partir de la description et du README du dépôt.
Mis à jour il y a 47 min
+8 étoiles gagnées cette semaine
Étoiles gagnées chaque jour, sur 30 jours
Rythme habituel · 2 / jour
4 oct.19 oct.Aujourd’hui
Cette semaine Avant Rythme habituel
Sur GitHub
The fastest vLLM build for AMD R9700's. For the latest updates join the Launch80 discord server. I am on X now also https://x.com/bkuyper
La description écrite par ses auteurs sur GitHub.
GGZ14 / vllm-mxfp4
Voir sur GitHub(nouvel onglet)