synchopate /
llama-modchip
Le README décrit l’exécution sur llama.cpp avec un moteur de décodage spéculatif sans brouillon. Il nécessite un CPU Zen 5 de type Ryzen 9 9955HX avec 64 Go de DDR5 et sans GPU, pour une inférence locale à long contexte.
Résumé écrit par une IA à partir de la description et du README du dépôt.
Mis à jour il y a 19 min
Pourquoi maintenant
La version v2.1.0 est sortie le 2 novembre.
+71 étoiles gagnées cette semaine
Étoiles gagnées chaque jour, sur 30 jours
4 oct.19 oct.Aujourd’hui
Cette semaine Avant
Sur GitHub
♟️ llama-modchip v2.1: Run 30B Sparse MoE LLMs on Pure CPU (0 GPUs) at 20–60.4 tok/s with a 256K Context Window via a 1.64MB Stockfish-PVS + RouteCrack L3 Drafter, 2MB HugePages & AVX-512 VNNI
La description écrite par ses auteurs sur GitHub.
synchopate / llama-modchip
Voir sur GitHub(nouvel onglet)