#llm-serving
Inférence & passerelles LLM sur GitHub, 9–15 novembre 2026
155 projets classés dans ce thème cette semaine-là. trnrt était premier avec 1 570 étoiles gagnées, puis Flide (471 étoiles gagnées) et deepseek-ultrafast (407 étoiles gagnées).
Le classement tel que l’a laissé le dernier calcul horaire de la semaine, le 16 novembre à 0 h UTC. Il ne change plus.
- projets classés
- 155
- étoiles gagnées +9 % par rapport à la semaine précédente
- 39 606
- nouveaux dans le top 10
- 8 sur 10
- classés dans #llm-serving pour la première fois
- 30
Le top 10
Classés par étoiles gagnées sur les sept jours, rapportées à la taille de chaque projet : un projet peut ainsi passer devant un autre qui en a gagné plus.
- 1RunanywhereAI/trnrt The open LLM inference engine for AWS Trainium: NKI megakernels, 1M-token context, OpenAI-compatible API. By RunAnywhere.étoiles cette semaine-là +1,6 k
- 2OmniJev/Flide 🔥🔥 The extremely fast inference engine for decision modelétoiles cette semaine-là +471
- 3étoiles cette semaine-là +407
- 5huawei-csl/MACaQ SOTA model-agnostic quantization for GGUF, local inference and beyond. Quantize and run text, image, video and audio models with llama.cpp, vLLM, Diffusers and PyTorch.étoiles cette semaine-là +311
- 6synchopate/llama-modchip Run 284B DeepSeek-V4-Flash (<59GiB RAM: 41.1 cold pp, 9.1 N=1 tg, up to 25.3 spec tok/s) & 30B MoEs (22.4 N=1 / 111.6 spec tok/s) on 64GB CPU (0 GPUs).étoiles cette semaine-là +691
- 8Continuum-AI-Corp/OrcaRouter-Lite Self-hosted LLM router with a managed safety net. OpenAI-compatible. BYOK. Single-workspace. Streaming. For more advanced routing choose hosted OrcaRouterétoiles cette semaine-là +1,1 k
- 9yetone/magpie Every agent's model. One place. Codex on DeepSeek, Claude Code on Kimi, from the menu bar.étoiles cette semaine-là +4,3 k
- 10yanstd888/9routerx 9RouterX (9R Next Go Generation): Single-binary Go AI router, LLM gateway & 20-40% token saver. Route Claude Code, Cursor & Codex across 155 providers, 28 OAuth & 248 free models (24 keyless) — OpenAI, Claude, Gemini, DeepSeek, Groq, Ollama & MCP.étoiles cette semaine-là +199
6 projets de ce classement ont été retirés depuis et ne sont pas montrés : supprimés de GitHub ou écartés par la revue d’Upstar. Leurs rangs restent vides.
Rangs 11 à 30
- 11affifuddin-hazam/ghost-inferen hausse, n° 34 la semaine précédente +191 étoiles cette semaine-là
- 12Zyphra/ZONOS3-Mininon classé la semaine précédente +165 étoiles cette semaine-là
- 13tashfeenahmed/freellmapien baisse, n° 8 la semaine précédente +3,6 k étoiles cette semaine-là
- 14ashhart/TensorFolden hausse, n° 55 la semaine précédente +542 étoiles cette semaine-là
- 15RainBowLuoCS/Gamernon classé la semaine précédente +123 étoiles cette semaine-là
- 16Niko1221/Strataen baisse, n° 5 la semaine précédente +2,4 k étoiles cette semaine-là
- 19jesdga95/basalten baisse, n° 7 la semaine précédente +275 étoiles cette semaine-là
- 20datawhalechina/zero-to-sglangen hausse, n° 95 la semaine précédente +400 étoiles cette semaine-là
- 21respanai/respan-gatewayen hausse, n° 25 la semaine précédente +219 étoiles cette semaine-là
- 22ShawnZhuge/aiottoen baisse, n° 6 la semaine précédente +161 étoiles cette semaine-là
- 23RustingStudio/RustingStrataen baisse, n° 11 la semaine précédente +101 étoiles cette semaine-là
- 24StartLuxLabs/StartLux-Prismen baisse, n° 19 la semaine précédente +158 étoiles cette semaine-là
- 25adventists-ai/duplexjevnon classé la semaine précédente +75 étoiles cette semaine-là
- 26FareedKhan-dev/kimi-k3-in-cen baisse, n° 4 la semaine précédente +795 étoiles cette semaine-là
- 27cheaper-inference/OmniRouteen baisse, n° 20 la semaine précédente +2,1 k étoiles cette semaine-là
- 28davide-troiani/moeshiften hausse, n° 56 la semaine précédente +71 étoiles cette semaine-là
- 30afdEP/afdEP-commnon classé la semaine précédente +70 étoiles cette semaine-là
Afficher les 124 autres projets
- 31xiaodou-official/xiaodou-open-platformnon classé la semaine précédente +119 étoiles cette semaine-là
- 32bitcloud-ai/Bittuneen hausse, n° 40 la semaine précédente +89 étoiles cette semaine-là
- 33mnfst/awesome-free-llm-apisnon classé la semaine précédente +645 étoiles cette semaine-là
- 34ThinkWatchProject/ThinkWatch-Liteen baisse, n° 18 la semaine précédente +171 étoiles cette semaine-là
- 35Lowaltitudeflight/local-llm-tuning-guideen hausse, n° 47 la semaine précédente +53 étoiles cette semaine-là
- 36christopherowen/spark-ds41fen baisse, n° 21 la semaine précédente +65 étoiles cette semaine-là
- 37JakeATX/llamAmpereen baisse, n° 29 la semaine précédente +84 étoiles cette semaine-là
- 38bojieli/ai-infra-booken hausse, n° 85 la semaine précédente +416 étoiles cette semaine-là
- 39WizisCool/oh-my-cpaen hausse, n° 52 la semaine précédente +90 étoiles cette semaine-là
- 40simplexai-labs/PolyStrataen baisse, n° 24 la semaine précédente +146 étoiles cette semaine-là
- 41openlake-project/openlakeen baisse, n° 38 la semaine précédente +242 étoiles cette semaine-là
- 42OpenBitSys/BitDecoding-FP4non classé la semaine précédente +44 étoiles cette semaine-là
- 43mw00/project-mayaen baisse, n° 27 la semaine précédente +225 étoiles cette semaine-là
- 44ggml-org/llama.cppen hausse, n° 78 la semaine précédente +1,5 k étoiles cette semaine-là
- 45eagle-hq/EAGLE-4en hausse, n° 93 la semaine précédente +137 étoiles cette semaine-là
- 46yanstd888/node2mintnon classé la semaine précédente +36 étoiles cette semaine-là
- 47Tencent-Hunyuan/FlashTopKnon classé la semaine précédente +33 étoiles cette semaine-là
- 48drawthingsai/local-code-communityen baisse, n° 39 la semaine précédente +37 étoiles cette semaine-là
- 49nace-ai/kapitsaen baisse, n° 32 la semaine précédente +85 étoiles cette semaine-là
- 50simranjeet97/AI_Engineer_Roadmap_2027non classé la semaine précédente +31 étoiles cette semaine-là
- 51incoai/splashen baisse, n° 50 la semaine précédente +142 étoiles cette semaine-là
- 52Magnvs7/Promethevsen baisse, n° 12 la semaine précédente +37 étoiles cette semaine-là
- 53martian56/redcellnon classé la semaine précédente +55 étoiles cette semaine-là
- 54FlashML-org/FreeTokenen baisse, n° 16 la semaine précédente +369 étoiles cette semaine-là
- 55shuishuipingan/qoder2api-huben hausse, n° 72 la semaine précédente +64 étoiles cette semaine-là
- 56thenabbu/BharatCode-VSCode-Extensionnon classé la semaine précédente +27 étoiles cette semaine-là
- 57yqing004-boop/magpie-androidnon classé la semaine précédente +26 étoiles cette semaine-là
- 58amitshekhariitbhu/ai-engineering-courseen hausse, n° 86 la semaine précédente +66 étoiles cette semaine-là
- 59fosrl/pangolinen hausse, n° 129 la semaine précédente +381 étoiles cette semaine-là
- 60peonist-ai/halogen-flash-serveren hausse, n° 70 la semaine précédente +88 étoiles cette semaine-là
- 61deepseek-ai/DeepInferen baisse, n° 31 la semaine précédente +392 étoiles cette semaine-là
- 62san-digital/tokspurnon classé la semaine précédente +24 étoiles cette semaine-là
- 63sii-nex/Nex-N2.6non classé la semaine précédente +24 étoiles cette semaine-là
- 64lyogavin/airllmen baisse, n° 63 la semaine précédente +474 étoiles cette semaine-là
- 65ProprietaryLegal/Volta-sPLIt-DeepSeek-V4.1-Flash-1017-8xV100-SXM2-PP2xTP4non classé la semaine précédente +23 étoiles cette semaine-là
- 66ShawTim/gemini-app2apinon classé la semaine précédente +23 étoiles cette semaine-là
- 67lidge-jun/opencodexen hausse, n° 98 la semaine précédente +295 étoiles cette semaine-là
- 68zexadev/gemini-web2api-goen hausse, n° 73 la semaine précédente +62 étoiles cette semaine-là
- 69kindlingai/gr8non classé la semaine précédente +21 étoiles cette semaine-là
- 70Zihao-Wu06/distillopsen baisse, n° 22 la semaine précédente +21 étoiles cette semaine-là
- 71higress-group/HiRouteen baisse, n° 59 la semaine précédente +43 étoiles cette semaine-là
- 72agentgateway/agentgatewayen baisse, n° 71 la semaine précédente +159 étoiles cette semaine-là
- 73decolua/9routeren hausse, n° 82 la semaine précédente +362 étoiles cette semaine-là
- 74patchy631/time-to-first-tokenen baisse, n° 46 la semaine précédente +68 étoiles cette semaine-là
- 750xShug0/audio.cppen baisse, n° 51 la semaine précédente +129 étoiles cette semaine-là
- 76iffiX/neutrinonon classé la semaine précédente +20 étoiles cette semaine-là
- 77Wei-Shaw/sub2apinon classé la semaine précédente +411 étoiles cette semaine-là
- 78syv-ai/HyperQwenen baisse, n° 54 la semaine précédente +98 étoiles cette semaine-là
- 79trymirai/uzuen hausse, n° 102 la semaine précédente +108 étoiles cette semaine-là
- 80sgl-project/sglang-omnien hausse, n° 104 la semaine précédente +77 étoiles cette semaine-là
- 81QuantumNous/new-apimême rang que la semaine précédente +405 étoiles cette semaine-là
- 82mozilla-ai/otarien baisse, n° 60 la semaine précédente +52 étoiles cette semaine-là
- 83Orchestra-Research/AI-Research-SKILLsen hausse, n° 92 la semaine précédente +193 étoiles cette semaine-là
- 85vllm-project/vllm-omnien hausse, n° 87 la semaine précédente +136 étoiles cette semaine-là
- 86prabanta-dev/janasen baisse, n° 36 la semaine précédente +40 étoiles cette semaine-là
- 87ForceInjection/AI-fundamentalsnon classé la semaine précédente +89 étoiles cette semaine-là
- 88BerriAI/litellmmême rang que la semaine précédente +385 étoiles cette semaine-là
- 89langfuse/langfusenon classé la semaine précédente +290 étoiles cette semaine-là
- 90Indras-Mirror/Xolotlen baisse, n° 69 la semaine précédente +33 étoiles cette semaine-là
- 91gitleaks/gitleaksen hausse, n° 100 la semaine précédente +254 étoiles cette semaine-là
- 92maximhq/bifrosten baisse, n° 89 la semaine précédente +136 étoiles cette semaine-là
- 93lbjlaq/Antigravity-Manageren hausse, n° 111 la semaine précédente +247 étoiles cette semaine-là
- 94vllm-project/vllmen baisse, n° 90 la semaine précédente +418 étoiles cette semaine-là
- 95ddalcu/mlx-serveen baisse, n° 75 la semaine précédente +65 étoiles cette semaine-là
- 96jundot/omlxen hausse, n° 99 la semaine précédente +195 étoiles cette semaine-là
- 971CatAI/1Cat-vLLMen hausse, n° 110 la semaine précédente +49 étoiles cette semaine-là
- 98StartLuxLabs/StartLux-Decisionen baisse, n° 96 la semaine précédente +51 étoiles cette semaine-là
- 99panxunying/ai-coding-welfareen baisse, n° 84 la semaine précédente +42 étoiles cette semaine-là
- 100Prefrontal-AI/latent-sparse-attentionen baisse, n° 1 la semaine précédente +24 étoiles cette semaine-là
- 101Calcium-Ion/AstrLinken hausse, n° 113 la semaine précédente +26 étoiles cette semaine-là
- 102magnitudedev/magnitudeen hausse, n° 107 la semaine précédente +96 étoiles cette semaine-là
- 103verl-project/verl-omnien hausse, n° 108 la semaine précédente +41 étoiles cette semaine-là
- 104rednote-machine-learning/RedKnoten baisse, n° 66 la semaine précédente +59 étoiles cette semaine-là
- 105Alice-Marx/dsh-model-routeren baisse, n° 13 la semaine précédente +32 étoiles cette semaine-là
- 106v-modal/awesome-jev-toolsnon classé la semaine précédente +27 étoiles cette semaine-là
- 107drumih/turbo-fieldfareen baisse, n° 62 la semaine précédente +82 étoiles cette semaine-là
- 108AtomicBot-ai/Atomic-Chaten baisse, n° 106 la semaine précédente +42 étoiles cette semaine-là
- 109exo-explore/exoen hausse, n° 133 la semaine précédente +194 étoiles cette semaine-là
- 110lemonade-sdk/lemonadeen baisse, n° 97 la semaine précédente +65 étoiles cette semaine-là
- 111seakee/CPA-Manager-Plusen hausse, n° 123 la semaine précédente +47 étoiles cette semaine-là
- 112IBM/mcp-context-forgeen hausse, n° 135 la semaine précédente +51 étoiles cette semaine-là
- 113SemiAnalysisAI/InferenceXen baisse, n° 112 la semaine précédente +33 étoiles cette semaine-là
- 114pallavi-shekhar/ai-engineering-interview-questions-company-wiseen baisse, n° 109 la semaine précédente +32 étoiles cette semaine-là
- 115skyzh/tiny-llmen baisse, n° 65 la semaine précédente +52 étoiles cette semaine-là
- 116lightseekorg/tokenspeeden hausse, n° 118 la semaine précédente +37 étoiles cette semaine-là
- 117superlinked/sieen hausse, n° 147 la semaine précédente +40 étoiles cette semaine-là
- 118alibaba/MNNen hausse, n° 119 la semaine précédente +86 étoiles cette semaine-là
- 119casdoor/casdooren hausse, n° 142 la semaine précédente +79 étoiles cette semaine-là
- 120vllm-project/semantic-routeren hausse, n° 126 la semaine précédente +52 étoiles cette semaine-là
- 121antirez/ds4en hausse, n° 127 la semaine précédente +100 étoiles cette semaine-là
- 122musistudio/claude-code-routeren hausse, n° 130 la semaine précédente +124 étoiles cette semaine-là
- 123raullenchai/Rapid-MLXen hausse, n° 144 la semaine précédente +40 étoiles cette semaine-là
- 124ngxson/wllamanon classé la semaine précédente +22 étoiles cette semaine-là
- 125flashinfer-ai/flashinferen hausse, n° 131 la semaine précédente +49 étoiles cette semaine-là
- 126LMCache/LMCacheen hausse, n° 134 la semaine précédente +62 étoiles cette semaine-là
- 127gpustack/gpustacken baisse, n° 121 la semaine précédente +43 étoiles cette semaine-là
- 128algorithmicsuperintelligence/openevolveen hausse, n° 132 la semaine précédente +48 étoiles cette semaine-là
- 129antirez/h3.cen baisse, n° 128 la semaine précédente +30 étoiles cette semaine-là
- 130amitshekhariitbhu/ai-engineering-interview-questionsen hausse, n° 136 la semaine précédente +32 étoiles cette semaine-là
- 131future-agi/future-agien hausse, n° 143 la semaine précédente +25 étoiles cette semaine-là
- 132Luce-Org/luceboxnon classé la semaine précédente +28 étoiles cette semaine-là
- 133youssofal/MTPLXen hausse, n° 138 la semaine précédente +26 étoiles cette semaine-là
- 134vllm-project/vllm-metalen baisse, n° 120 la semaine précédente +22 étoiles cette semaine-là
- 135kvcache-ai/Mooncakeen baisse, n° 125 la semaine précédente +41 étoiles cette semaine-là
- 136spiceai/spiceainon classé la semaine précédente +24 étoiles cette semaine-là
- 137ai-dynamo/dynamoen hausse, n° 141 la semaine précédente +37 étoiles cette semaine-là
- 138vllm-project/vllm-ascenden hausse, n° 139 la semaine précédente +22 étoiles cette semaine-là
- 139kserve/kserveen hausse, n° 152 la semaine précédente +31 étoiles cette semaine-là
- 140NVIDIA/TensorRT-LLMen baisse, n° 137 la semaine précédente +42 étoiles cette semaine-là
- 141octelium/octeliumnon classé la semaine précédente +22 étoiles cette semaine-là
- 142ruvnet/RuVectornon classé la semaine précédente +23 étoiles cette semaine-là
- 143skypilot-org/skypiloten hausse, n° 151 la semaine précédente +34 étoiles cette semaine-là
- 144Portkey-AI/gatewayen baisse, n° 140 la semaine précédente +37 étoiles cette semaine-là
- 145looplj/axonhuben hausse, n° 149 la semaine précédente +22 étoiles cette semaine-là
- 146ray-project/raynon classé la semaine précédente +59 étoiles cette semaine-là
- 147InsForge/InsForgeen hausse, n° 148 la semaine précédente +32 étoiles cette semaine-là
- 148openvinotoolkit/openvinoen hausse, n° 150 la semaine précédente +29 étoiles cette semaine-là
- 149EricLBuehler/mistral.rsen baisse, n° 146 la semaine précédente +24 étoiles cette semaine-là
- 150budtmo/docker-androiden hausse, n° 155 la semaine précédente +34 étoiles cette semaine-là
- 151Wei-Shaw/claude-relay-servicenon classé la semaine précédente +24 étoiles cette semaine-là
- 152deepseek-ai/FlashMLAen hausse, n° 153 la semaine précédente +21 étoiles cette semaine-là
- 153mlc-ai/web-llmen hausse, n° 158 la semaine précédente +24 étoiles cette semaine-là
- 154apache/apisixen hausse, n° 157 la semaine précédente +22 étoiles cette semaine-là
- 155kvcache-ai/ktransformersen hausse, n° 159 la semaine précédente +22 étoiles cette semaine-là