Upstar classe toutes les heures les projets GitHub qui montent le plus vite, dans 69 thèmes. Voir les thèmes

#llm-serving · IA & ML

Inférence & passerelles LLM

Moteurs d’inférence, serveurs de modèles et passerelles qui répartissent les requêtes entre les API de modèles.

Cette semaine (27 oct. – 2 nov.), en tête : Strata (+4 688), resin (+212) et antirion (+296). Les 151 projets classés ont gagné 27 425 étoiles, 49 % de moins que la semaine précédente.

Mis à jour le 2 nov., 11:35 UTC · classé toutes les heures à partir des étoiles quotidiennes de GitHub

Mis à jour il y a 12 min

Sujet GitHub ↗ (nouvel onglet)

Classement de la semaine

10 sur 151 affichés

Comment Upstar classe

  1. 1
    Niko1221/Strata Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input. C++ C++ · 38,1 k au total
    Gagnées en 7 j +4,7 k Score 25,7 Total 38,1 k
  2. 2
    ekzhang/resin 🧱 Experimental library for building inference engines Python Python · 368 au total Signaux mitigés
    Gagnées en 7 j +212 Score 17,0 Total 368
  3. 3
    eliasbiondo/antirion 🕷️ The fastest open-source AI Gateway and LLM Gateway — one binary with built-in console to route, secure, budget and observe every LLM call across OpenAI, Anthropic, Gemini, Bedrock and more. Rust Rust · 615 au total Repéré à 95 étoiles
    Gagnées en 7 j +296 Score 16,6 Total 615
  4. 4
    StartLuxLabs/StartLux-Prism Fast, exact inference for StartLux-Decision models on NVIDIA GPUs: the released GGUF files on int8 and 4-bit tensor cores, behind the /v1/systemone API, with up to 5.3× lower latency than vLLM in FP8 and bit-identical answers. Python Python · 236 au total
    Gagnées en 7 j +147 Score 14,7 Total 236
  5. 5
    jesdga95/basalt Local inference engine for Qwen3.8-Flash-Next on NVIDIA Blackwell C++ C++ · 442 au total
    Gagnées en 7 j +215 Score 14,3 Total 442
  6. 6
    deepseek-ai/DeepInfer DeepInfer: High-performance, large-scale inference framework for DeepSeek models Python Python · 24,9 k au total
    Gagnées en 7 j +2,1 k Score 13,9 Total 24,9 k
  7. 7
    NerverDevs/nervecenter new-api / sub2api 中转站账号管理中心：余额、API Key、用量、倍率、模型比价 | https://nvcenter.cc TypeScript TypeScript · 198 au total
    Gagnées en 7 j +137 Score 13,7 Total 198
  8. 8
    trymirai/uzu A high-performance inference engine for AI models Rust Rust · 3,2 k au total En bonne santé
    Gagnées en 7 j +597 Score 11,7 Total 3,2 k
  9. 9
    Alice-Marx/dsh-model-router Model Router and GALGame plugin for DeepSeek Harness JavaScript JavaScript · 623 au total En bonne santé
    Gagnées en 7 j +221 Score 11,0 Total 623
  10. 10
    skyzh/tiny-llm learn LLM inference system on Apple Silicon for systems engineers: build a tiny vLLM + Qwen Python Python · 5,5 k au total En bonne santé
    Gagnées en 7 j +730 Score 10,6 Total 5,5 k

1 dépôt à la croissance inhabituelle n’est pas affiché. Afficher le classement complet

Afficher la suite

Émergents en Inférence & passerelles LLM Semaines passées : 26 oct.19 oct.