azrtydxb/Fastllm-proxy
The lowest-overhead LLM router. Production-ready, highly available, one OpenAI-compatible endpoint in front of 80 providers and your own vLLM/SGLang — 0.76 µs per request, no I/O on the request path, cache-affinity routing, RBAC, budgets and a 13-screen UI in the binary.
Croissance
- 24 dernières heures
- +0
- étoiles
- 7 derniers jours
- +0
- étoiles
- 30 derniers jours
- +3
- étoiles
- Étoiles au total
- 108
- 105 il y a un mois
- Forks
- 93
Historique des étoiles
12 dernières semaines · étoiles cumulées par semaine · créé le 6 août 2026, zéro avant · calculé à partir des étoiles publiques de GitHub
Rang dans ses thèmes
| Thème | Aujourd’hui | Cette semaine | Ce mois-ci |
|---|---|---|---|
| Rust | – | – | – |
| Observabilité | – | – | – |
| Réseau | – | – | – |
| LLM | – | – | – |
Signaux de santé
Les signaux de santé n’ont pas encore été relevés. Les dépôts classés sont vérifiés chaque semaine.
Ces signaux sont calculés automatiquement à partir des données publiques de GitHub. Ce n’est ni une recommandation ni un audit de sécurité. Comment la santé est calculée
README
Fastllm-proxy
The lowest-overhead LLM router. Production-ready, highly available, one OpenAI-compatible endpoint in front of 80 providers and your own vLLM/SGLang — 0.76 µs per request, no I/O on the request path, cache-affinity routing, RBAC, budgets and a 13-screen UI in the binary.
Upstar n’a pas encore récupéré ce README. Le lire sur GitHub.