Upstar classe toutes les heures les projets GitHub qui montent le plus vite, dans 69 thèmes. Voir les thèmes

#llm-serving · IA & ML

Inférence & passerelles LLM

Moteurs d’inférence, serveurs de modèles et passerelles qui répartissent les requêtes entre les API de modèles.

Ce mois-ci (4 oct. – 2 nov.), en tête : DeepInfer (+24 976), Strata (+29 355) et project-maya (+2 394). Les 332 projets classés ont gagné 152 349 étoiles.

Mis à jour le 2 nov., 13:34 UTC · classé toutes les heures à partir des étoiles quotidiennes de GitHub

Mis à jour il y a 24 min

Sujet GitHub ↗ (nouvel onglet)

Classement du mois

10 sur 334 affichés

Comment Upstar classe

Classement complet, avec les dépôts masqués par défaut. Revenir au classement

  1. 1
    deepseek-ai/DeepInfer DeepInfer: High-performance, large-scale inference framework for DeepSeek models Python Python · 25 k au total
    Gagnées en 30 j +25 k Score 2 497,6 Total 25 k
  2. 2
    Niko1221/Strata Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input. C++ C++ · 38,1 k au total
    Gagnées en 30 j +29,4 k Score 313,3 Total 38,1 k
  3. 3
    mw00/project-maya Project Maya - run GLM-5.3-Flash (321B MoE), DeepSeek-V4.1-Flash-1017 (748B MoE) and MiniMax-M3.1-Flash (428B MoE) privately on your own GPU(s), from one card to 16, NVIDIA or AMD, Linux or Windows. Engine, server, dashboard, OpenAI- and Anthropic-compatible API, quant tools. Cuda Cuda · 2,4 k au total Repéré à 762 étoiles
    Gagnées en 30 j +2,4 k Score 239,4 Total 2,4 k
  4. 4
    StartLuxLabs/StartLux-Decision Open decision models from 0.8B to 27B: a calibrated probability for every option in one pass, and a short thought only when unsure. Engine for vLLM, llama.cpp and MLX. Python Python · 1,6 k au total Repéré à 644 étoiles
    Gagnées en 30 j +1,5 k Score 118,0 Total 1,6 k
  5. 5
    eagle-hq/EAGLE-4 Official Inference Code of EAGLE-4 Python Python · 1,1 k au total
    Gagnées en 30 j +1,1 k Score 111,3 Total 1,1 k
  6. 6
    VecSzn/PolyStrata Run large AI models on your own PC: Qwen3.8-Flash-Next on Strata's engine, and GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder and MiniCPM-V on a second engine written for PolyStrata. One-click install for Windows and Linux, OpenAI/Anthropic API on localhost. C++ C++ · 760 au total Repéré à 196 étoiles
    Gagnées en 30 j +760 Score 76,0 Total 760
  7. 7
    NVIDIA/spark-local-inference Rust Rust · 743 au total
    Gagnées en 30 j +743 Score 74,3 Total 743
  8. 8
    Alice-Marx/dsh-model-router Model Router and GALGame plugin for DeepSeek Harness JavaScript JavaScript · 623 au total En bonne santé
    Gagnées en 30 j +623 Score 62,3 Total 623
  9. 9
    eliasbiondo/antirion 🕷️ The fastest open-source AI Gateway and LLM Gateway — one binary with built-in console to route, secure, budget and observe every LLM call across OpenAI, Anthropic, Gemini, Bedrock and more. Rust Rust · 622 au total Repéré à 95 étoiles
    Gagnées en 30 j +622 Score 62,2 Total 622
  10. 10
    nace-ai/kapitsa Blazing fast Apple Silicon optimized inference engine built for Qwen & Nemotron. OpenAI + Anthropic API compatible. Built by folks from nace.ai C++ C++ · 595 au total
    Gagnées en 30 j +595 Score 59,5 Total 595
Afficher la suite

Émergents en Inférence & passerelles LLM Semaines passées : 26 oct.19 oct.