wici-ai /
inferssd
Nécessite un Mac Apple Silicon (Metal) ou une machine Linux avec GPU NVIDIA (CUDA), et se compile depuis les sources. Il fournit une interface de chat dans le navigateur et une API compatible OpenAI pour les modèles DeepSeek et Muse.
Résumé écrit par une IA à partir de la description et du README du dépôt.
Mis à jour il y a 12 min
Vous maintenez ce dépôt ? Ajoutez ce badge à votre README.
Pourquoi maintenant
La version v0.1.1 est sortie le 31 octobre.
+227 étoiles gagnées cette semaine
Étoiles gagnées chaque jour, sur 30 jours
4 oct.19 oct.Aujourd’hui
Cette semaine Avant
Sur GitHub
Run models larger than your RAM or VRAM by streaming MoE experts from SSD. Built on llama.cpp.
La description écrite par ses auteurs sur GitHub.
wici-ai / inferssd
Voir sur GitHub(nouvel onglet)