Upstar classe toutes les heures les projets GitHub qui montent le plus vite, dans 69 thèmes. Voir les thèmes

#llm-serving · IA & ML

Inférence & passerelles LLM

Moteurs d’inférence, serveurs de modèles et passerelles qui répartissent les requêtes entre les API de modèles.

Cette semaine (27 oct. – 2 nov.), en tête : Strata (+4 667), antirion (+300) et resin (+199). Les 150 projets classés ont gagné 27 323 étoiles, 49 % de moins que la semaine précédente.

Mis à jour le 2 nov., 13:34 UTC · classé toutes les heures à partir des étoiles quotidiennes de GitHub

Mis à jour il y a 23 min

Sujet GitHub ↗ (nouvel onglet)

Émergents cette semaine

12 sur 12 affichés

Comment Upstar classe

Classés par accélération par rapport à leur semaine habituelle ; le score est celui des classements : étoiles gagnées en 7 jours ÷ √(étoiles avant, minimum 100).

  1. 1
    Alice-Marx/dsh-model-router Model Router and GALGame plugin for DeepSeek Harness Après des semaines calmes JavaScript JavaScript · 623 au total En bonne santé
    Gagnées en 7 j +220 Score 11,0 Total 623
  2. 2
    ekzhang/resin 🧱 Experimental library for building inference engines Après des semaines calmes Python Python · 368 au total En bonne santé
    Gagnées en 7 j +199 Score 15,3 Total 368
  3. 3
    respanai/respan-gateway Open-source LLM gateway in Rust. One endpoint for OpenAI, Anthropic, Gemini and every other vendor. Any SDK, any model, any tool. Semaine d’envol (~1 par semaine) Rust Rust · 487 au total
    Gagnées en 7 j +156 Score 8,6 Total 487
  4. 4
    kekzl/imp Run large AI chat models privately on your own NVIDIA RTX 50 or RTX PRO graphics card. On one RTX 5090, Qwen3.8-27B writes about 70 words per second, 1.4x faster than vLLM. Even a model almost four times larger than the card's memory runs. Works with apps made for ChatGPT or Claude. Starts with one… 77× son rythme habituel (~1 par semaine) C++ C++ · 124 au total En bonne santé
    Gagnées en 7 j +77 Score 7,7 Total 124
  5. 5
    bitcloud-ai/Bittune Local-first engineering agent that deploys, benchmarks and tunes vLLM/SGLang inference services on your own GPUs, with auditable run evidence. Après des semaines calmes TypeScript TypeScript · 161 au total Signaux mitigés
    Gagnées en 7 j +65 Score 6,5 Total 161
  6. 6
    dayuwang401/spectral-orthogonal-exploration Official code for "Student Guides Teacher: Weak-to-Strong Inference via Spectral Orthogonal Exploration" (SOE, ACL 2026 Oral). A training-free, test-time scaling method that fixes reasoning collapse in LLM mathematical reasoning via orthogonal probing. Après des semaines calmes Python Python · 134 au total
    Gagnées en 7 j +60 Score 6,0 Total 134
  7. 7
    prabanta-dev/janas 37 tok/s from Qwen3-Next-80B (48 GB) on a 32 GB laptop, 24 without drafts vs 2.8 for llama.cpp; reading 62 vs 16 tok/s. Faster than llama.cpp on all 13 models compared in Q4_K_M. LLMs bigger than your RAM, pure C, CPU or GPU. 5× son rythme habituel (~20 par semaine) C C · 574 au total
    Gagnées en 7 j +105 Score 4,8 Total 574
  8. 8
    mozilla-ai/otari Open-source, OpenAI-compatible LLM gateway you run yourself. One endpoint for 40+ providers, with virtual keys, budgets, and usage tracking. 4× son rythme habituel (~20 par semaine) Python Python · 812 au total En bonne santé
    Gagnées en 7 j +74 Score 2,7 Total 812
  9. 9
    christopherowen/spark-ds41f Reproducible Docker/vLLM deployment, tuning, and benchmarks for DeepSeek V4.1 Flash on a switchless three-node or four-node DGX Spark fabric. 5× son rythme habituel (~6 par semaine) Python Python · 78 au total
    Gagnées en 7 j +30 Score 3,0 Total 78
  10. 10
    carloslfu/slotstream Run a 105 GB AI model on a Mac that can't hold it. Qwen3.8-Flash-Next 4-bit, streamed from SSD on 16–64 GB Apple Silicon Macs. Fully native Swift, MLX and Metal. Offline, no Python. CLI, Swift library, and Ollama/OpenAI/Anthropic APIs. Works with Claude Code and Codex. 3× son rythme habituel (~37 par semaine) Swift Swift · 642 au total En bonne santé
    Gagnées en 7 j +100 Score 4,3 Total 642
  11. 11
    yreidev/workbuddy2api-panel 把腾讯 WorkBuddy 账号变成 OpenAI 兼容 API 的多账号网关。请求头照官方桌面端逐项对齐，主备入口 + HTTPDNS 自动切换，国内 / 国际双域合池，企业号可用 Claude，签到与成长任务全自动，React 管理面板支持一键更新。原版 workbuddy2api-panel 的持续同步增强版，Docker / 单文件部署。 9× son rythme habituel (~3 par semaine) Go Go · 62 au total
    Gagnées en 7 j +26 Score 2,6 Total 62
  12. 12
    warpfront/hipfire RDNA-native LLM inference engine in Rust. 2× son rythme habituel (~14 par semaine) Rust Rust · 786 au total En bonne santé
    Gagnées en 7 j +31 Score 1,1 Total 786

Revenir au classement Semaines passées : 26 oct.19 oct.