1CatAI /
1Cat-vLLM
Un fork de vLLM qui optimise l’inférence des LLM sur les GPU NVIDIA Tesla V100 (SM70), avec des kernels plus rapides et la prise en charge du GGUF pour faire tourner des modèles récents sur du matériel Volta. Destiné aux utilisateurs de V100.
Résumé écrit par une IA à partir de la description et du README du dépôt.
Mis à jour il y a 15 min
+50 étoiles gagnées cette semaine
Étoiles gagnées chaque jour, sur 30 jours
Rythme habituel · 8 / jour
4 oct.19 oct.Aujourd’hui
Cette semaine Avant Rythme habituel
Sur GitHub
V100 / SM70-focused vLLM engineering fork for modern LLM inference.
La description écrite par ses auteurs sur GitHub.
1CatAI / 1Cat-vLLM
Voir sur GitHub(nouvel onglet)