jpezzulli /
sglang-rtxpro6000
Le README indique qu’il cible les modèles Qwen3.8 sur une ou deux cartes RTX PRO 6000 Blackwell, et qu’il requiert de la RAM système supplémentaire pour le cache de brouillon, DFlash2 étant qualifié pour le 27B et en alpha pour Flash-Next.
Résumé écrit par une IA à partir de la description et du README du dépôt.
Mis à jour il y a 24 min
Pourquoi maintenant
La version pennyroyal-v3.1.4 est sortie le 29 octobre.
+10 étoiles gagnées cette semaine
Étoiles gagnées chaque jour, sur 30 jours
Rythme habituel · 2 / jour
4 oct.19 oct.Aujourd’hui
Cette semaine Avant Rythme habituel
Sur GitHub
Optimized SGLang runtime for Qwen3.8-27B FP8 with DFlash2 and Qwen3.8 Flash-Next NVFP4 with FR-Spec on one NVIDIA RTX PRO 6000 Blackwell 96 GB GPU (SM120): 524K context, HiCache and NIXL.
La description écrite par ses auteurs sur GitHub.
jpezzulli / sglang-rtxpro6000
Voir sur GitHub(nouvel onglet)