Upstar classe toutes les heures les projets GitHub qui montent le plus vite, dans 69 thèmes. Voir les thèmes

#llm-serving · IA & ML

Inférence & passerelles LLM

Moteurs d’inférence, serveurs de modèles et passerelles qui répartissent les requêtes entre les API de modèles.

Sur les dernières 24 heures, en tête : FreeToken (+351), Strata (+524) et Infernix (+35). Les 26 projets classés ont gagné 2 141 étoiles.

Mis à jour le 2 nov., 13:34 UTC · classé toutes les heures à partir des étoiles quotidiennes de GitHub

Mis à jour il y a 23 min

Sujet GitHub ↗ (nouvel onglet)

Classement sur 24 h

10 sur 26 affichés

Comment Upstar classe

Classement complet, avec les dépôts masqués par défaut. Revenir au classement

  1. 4
    routerhubSI/uncensored-ai-api Uncensored AI API and models — one key for Claude, GPT, Gemini, Grok, DeepSeek, GLM and Qwen, with uncensored and abliterated variants where available. OpenAI- and Anthropic-compatible. Pay per token. 509 au total
    Gagnées en 24 h +68 Score 3,2 Total 509
  2. 1
    FlashML-org/FreeToken FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently. Python Python · 15,7 k au total En bonne santé
    Gagnées en 24 h +351 Score 2,8 Total 15,7 k
  3. 2
    Niko1221/Strata Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input. C++ C++ · 38,1 k au total
    Gagnées en 24 h +524 Score 2,7 Total 38,1 k
  4. 3
    Wallawalla47/Infernix C++/CUDA single-GPU inference engine for Qwen3.8 (incl. Qwen3.8-Flash-Next with offloaded experts) on the RTX 5090; grew from NInfer C++ C++ · 218 au total
    Gagnées en 24 h +35 Score 2,6 Total 218
  5. 5
    eliasbiondo/antirion 🕷️ The fastest open-source AI Gateway and LLM Gateway — one binary with built-in console to route, secure, budget and observe every LLM call across OpenAI, Anthropic, Gemini, Bedrock and more. Rust Rust · 622 au total Repéré à 95 étoiles
    Gagnées en 24 h +44 Score 1,8 Total 622
  6. 6
    jesdga95/basalt Local inference engine for Qwen3.8-Flash-Next on NVIDIA Blackwell C++ C++ · 448 au total
    Gagnées en 24 h +28 Score 1,4 Total 448
  7. 7
    ddalcu/mlx-serve Native LLM inference server for Apple Silicon. OpenAI + Anthropic API compatible. No Python. Zig backend, Swift frontend macOS app with chat, music, voice, video generation. Zig Zig · 2,3 k au total En bonne santé
    Gagnées en 24 h +54 Score 1,1 Total 2,3 k
  8. 8
    respanai/respan-gateway Open-source LLM gateway in Rust. One endpoint for OpenAI, Anthropic, Gemini and every other vendor. Any SDK, any model, any tool. Rust Rust · 487 au total
    Gagnées en 24 h +23 Score 1,1 Total 487
  9. 9
    deepseek-ai/DeepInfer DeepInfer: High-performance, large-scale inference framework for DeepSeek models Python Python · 25 k au total
    Gagnées en 24 h +167 Score 1,1 Total 25 k
  10. 10
    Alice-Marx/dsh-model-router Model Router and GALGame plugin for DeepSeek Harness JavaScript JavaScript · 623 au total En bonne santé
    Gagnées en 24 h +23 Score 0,9 Total 623
Afficher la suite

Émergents en Inférence & passerelles LLM Semaines passées : 26 oct.19 oct.