StartLuxLabs /

StartLux-Prism

StartLux-Prism est un moteur d’inférence qui sert les modèles StartLux-Decision à partir de leurs fichiers GGUF sur les GPU NVIDIA, via une API /v1/systemone. Il s’adresse aux équipes qui ont besoin de réponses rapides, exactes et calibrées de ces modèles.

Résumé écrit par une IA à partir de la description et du README du dépôt.

n° 4 en Inférence & passerelles LLM Python 238 étoiles

Mis à jour il y a 18 min

Voir sur GitHub

Vous maintenez ce dépôt ? Ajoutez ce badge à votre README.

Pourquoi maintenant

+149 étoiles gagnées cette semaine

Étoiles gagnées chaque jour, sur 30 jours

4 oct.19 oct.Aujourd’hui

Cette semaine Avant

Sur GitHub

Fast, exact inference for StartLux-Decision models on NVIDIA GPUs: the released GGUF files on int8 and 4-bit tensor cores, behind the /v1/systemone API, with up to 5.3× lower latency than vLLM in FP8 and bit-identical answers.

La description écrite par ses auteurs sur GitHub.

StartLuxLabs / StartLux-Prism