1115714829 /
llama.cpp-v100
Il s’adresse aux possesseurs de V100 qui font tourner localement les modèles Qwen3.8. Il demande 2 à 6 GPU V100, environ 63 Gio de RAM hôte pour la configuration à deux cartes, et se compile depuis les sources ou s’exécute via l’image Docker.
Résumé écrit par une IA à partir de la description et du README du dépôt.
Mis à jour à l’instant
+9 étoiles gagnées cette semaine
Étoiles gagnées chaque jour, sur 30 jours
Rythme habituel · 2 / jour
4 oct.19 oct.Aujourd’hui
Cette semaine Avant Rythme habituel
Sur GitHub
llama.cpp optimized for NVIDIA Tesla V100 (SM70): Qwen3.8-Flash-Next with MTP (prefill 3402 tok/s at 200K context on 6x V100-16GB; also runs on 2x V100-16GB) and Qwen3.8-27B with DFlash2 (decode up to 220 tok/s); 2-6 GPUs, 262K-512K context, multimodal, concurrent serving, built-in web UI.
La description écrite par ses auteurs sur GitHub.
1115714829 / llama.cpp-v100
Voir sur GitHub(nouvel onglet)