imp
Il nécessite une carte NVIDIA de génération Blackwell, Linux ou WSL2, ainsi que Docker avec le NVIDIA Container Toolkit. Les modèles doivent être au format SafeTensors, et l’on discute dans le navigateur ou l’on connecte des agents de code à son API locale.
Résumé écrit par une IA à partir de la description et du README du dépôt.
Mis à jour il y a 15 min
Pourquoi maintenant
La version v0.61.0 est sortie le 1 novembre.
+77 étoiles gagnées cette semaine
77× son rythme habituel
Étoiles gagnées chaque jour, sur 30 jours
Sur GitHub
Run large AI chat models privately on your own NVIDIA RTX 50 or RTX PRO graphics card. On one RTX 5090, Qwen3.8-27B writes about 70 words per second, 1.4x faster than vLLM. Even a model almost four times larger than the card's memory runs. Works with apps made for ChatGPT or Claude. Starts with one…
La description écrite par ses auteurs sur GitHub.