synchopate /
nemotron-30b-cpu-256k
Le README décrit l’exécution sur llama.cpp avec un moteur de décodage spéculatif sans brouillon. Il nécessite un CPU Zen 5 de type Ryzen 9 9955HX avec 64 Go de DDR5 et sans GPU, pour une inférence locale à long contexte.
Résumé écrit par une IA à partir de la description et du README du dépôt.
Mis à jour il y a 8 min
+69 étoiles gagnées cette semaine
Étoiles gagnées chaque jour, sur 30 jours
4 oct.19 oct.Aujourd’hui
Cette semaine Avant
Sur GitHub
Running a 30B MoE LLM on CPU at 30-50+ tok/s with a 256K Context Window via Hybrid Mamba-2 SSM, L3 NTA Slicing, AVX-512 VNNI Tile Repacking & 2MB HugePages
La description écrite par ses auteurs sur GitHub.
synchopate / nemotron-30b-cpu-256k
Voir sur GitHub(nouvel onglet)