ahtx /
kindi
Destiné à ceux qui font tourner des modèles en local sur du matériel ancien ou peu coûteux : il faut une carte NVIDIA ou AMD, ou simplement un CPU, et il expose une API compatible OpenAI pour les clients de chat et les agents.
Résumé écrit par une IA à partir de la description et du README du dépôt.
Mis à jour il y a 15 min
Pourquoi maintenant
La version v0.3.0 est sortie le 29 octobre.
+47 étoiles gagnées cette semaine
Étoiles gagnées chaque jour, sur 30 jours
4 oct.19 oct.Aujourd’hui
Cette semaine Avant
Sur GitHub
A custom LLM inference engine for low-cost GPUs: NVIDIA cards from a 1 GB Quadro K420 to an RTX 3080, the AMD Radeon 780M and the CPU. Runs the Bonsai 2B to 27B models and Nemotron with an OpenAI-compatible server.
La description écrite par ses auteurs sur GitHub.
ahtx / kindi
Voir sur GitHub(nouvel onglet)