Upstar classe toutes les heures les projets GitHub qui montent le plus vite, dans 69 thèmes. Voir les thèmes

#llm-serving · IA & ML

Inférence & passerelles LLM

Moteurs d’inférence, serveurs de modèles et passerelles qui répartissent les requêtes entre les API de modèles.

Cette semaine (27 oct. – 2 nov.), en tête : Strata (+4 674), antirion (+302) et resin (+205). Les 151 projets classés ont gagné 27 414 étoiles, 49 % de moins que la semaine précédente.

Mis à jour le 2 nov., 12:33 UTC · classé toutes les heures à partir des étoiles quotidiennes de GitHub

Mis à jour il y a 13 min

Sujet GitHub ↗ (nouvel onglet)

Émergents cette semaine

10 sur 12 affichés

Comment Upstar classe

Classés par accélération par rapport à leur semaine habituelle ; le score est celui des classements : étoiles gagnées en 7 jours ÷ √(étoiles avant, minimum 100).

  1. 1
    Alice-Marx/dsh-model-router Model Router and GALGame plugin for DeepSeek Harness Après des semaines calmes JavaScript JavaScript · 623 au total En bonne santé
    Gagnées en 7 j +221 Score 11,0 Total 623
  2. 2
    ekzhang/resin 🧱 Experimental library for building inference engines Après des semaines calmes Python Python · 368 au total Signaux mitigés
    Gagnées en 7 j +205 Score 16,1 Total 368
  3. 3
    respanai/respan-gateway Open-source LLM gateway in Rust. One endpoint for OpenAI, Anthropic, Gemini and every other vendor. Any SDK, any model, any tool. Semaine d’envol (~1 par semaine) Rust Rust · 487 au total
    Gagnées en 7 j +158 Score 8,7 Total 487
  4. 4
    kekzl/imp Run large AI chat models privately on your own NVIDIA RTX 50 or RTX PRO graphics card. On one RTX 5090, Qwen3.8-27B writes about 70 words per second, 1.4x faster than vLLM. Even a model almost four times larger than the card's memory runs. Works with apps made for ChatGPT or Claude. Starts with one… 77× son rythme habituel (~1 par semaine) C++ C++ · 124 au total En bonne santé
    Gagnées en 7 j +77 Score 7,7 Total 124
  5. 5
    bitcloud-ai/Bittune Local-first engineering agent that deploys, benchmarks and tunes vLLM/SGLang inference services on your own GPUs, with auditable run evidence. Après des semaines calmes TypeScript TypeScript · 161 au total Signaux mitigés
    Gagnées en 7 j +66 Score 6,6 Total 161
  6. 6
    dayuwang401/spectral-orthogonal-exploration Official code for "Student Guides Teacher: Weak-to-Strong Inference via Spectral Orthogonal Exploration" (SOE, ACL 2026 Oral). A training-free, test-time scaling method that fixes reasoning collapse in LLM mathematical reasoning via orthogonal probing. Après des semaines calmes Python Python · 134 au total
    Gagnées en 7 j +60 Score 6,0 Total 134
  7. 7
    prabanta-dev/janas 37 tok/s from Qwen3-Next-80B (48 GB) on a 32 GB laptop, 24 without drafts vs 2.8 for llama.cpp; reading 62 vs 16 tok/s. Faster than llama.cpp on all 13 models compared in Q4_K_M. LLMs bigger than your RAM, pure C, CPU or GPU. 5× son rythme habituel (~20 par semaine) C C · 574 au total
    Gagnées en 7 j +106 Score 4,9 Total 574
  8. 8
    mozilla-ai/otari Open-source, OpenAI-compatible LLM gateway you run yourself. One endpoint for 40+ providers, with virtual keys, budgets, and usage tracking. 4× son rythme habituel (~20 par semaine) Python Python · 809 au total En bonne santé
    Gagnées en 7 j +72 Score 2,7 Total 809
  9. 9
    christopherowen/spark-ds41f Reproducible Docker/vLLM deployment, tuning, and benchmarks for DeepSeek V4.1 Flash on a switchless three-node or four-node DGX Spark fabric. 5× son rythme habituel (~6 par semaine) Python Python · 78 au total
    Gagnées en 7 j +31 Score 3,1 Total 78
  10. 10
    carloslfu/slotstream Run a 105 GB AI model on a Mac that can't hold it. Qwen3.8-Flash-Next 4-bit, streamed from SSD on 16–64 GB Apple Silicon Macs. Fully native Swift, MLX and Metal. Offline, no Python. CLI, Swift library, and Ollama/OpenAI/Anthropic APIs. Works with Claude Code and Codex. 3× son rythme habituel (~37 par semaine) Swift Swift · 642 au total En bonne santé
    Gagnées en 7 j +104 Score 4,5 Total 642
Afficher la suite

Revenir au classement Semaines passées : 26 oct.19 oct.