TandemLLM
TandemLLM est un moteur d’inférence pour un seul NVIDIA DGX Spark, qui fait tourner des modèles ouverts comme Qwen et Nemotron, avec de petits modèles de brouillon vérifiés par le modèle principal pour un décodage plus rapide.
Résumé écrit par une IA à partir de la description et du README du dépôt.
Mis à jour il y a 1 min
Pourquoi maintenant
La version v0.15.0 est sortie le 27 octobre.
+7 étoiles gagnées cette semaine
Étoiles gagnées chaque jour, sur 30 jours
Sur GitHub
An environment where open models work as agents: a first-level harness with routing, skills, memory and sandboxed tools, on an engine that drafts and verifies its own tokens.
La description écrite par ses auteurs sur GitHub.