professorpalmer /
bonsai-ada-surgery
Un lanceur Windows et un serveur llama.cpp modifié qui font tourner le modèle ternaire Bonsai 2 27B de PrismML avec un contexte complet de 262k sur des cartes NVIDIA de 12 Go et 8 Go. Destiné à ceux qui font tourner des LLM locaux sur des GPU grand public.
Résumé écrit par une IA à partir de la description et du README du dépôt.
Mis à jour il y a 23 min
Pourquoi maintenant
La version bundle-20261026 est sortie le 27 octobre.
+4 étoiles gagnées cette semaine
Étoiles gagnées chaque jour, sur 30 jours
Rythme habituel · 3 / jour
4 oct.19 oct.Aujourd’hui
Cette semaine Avant Rythme habituel
Sur GitHub
Bonsai 2 27B: 262k context (trained max) on 12 GB, 54 to 97 tok/s decode, 2x prefill, q8_0 KV recipe, grammar tool calls 9/9. Same ternary weights. Windows bundle + receipts.
La description écrite par ses auteurs sur GitHub.
professorpalmer / bonsai-ada-surgery
Voir sur GitHub(nouvel onglet)