#llm-serving
Inférence & passerelles LLM sur GitHub, 2–8 novembre 2026
159 projets classés dans ce thème cette semaine-là. latent-sparse-attention était premier avec 441 étoiles gagnées, puis llama-modchip (411 étoiles gagnées) et magpie (4 371 étoiles gagnées).
Le classement tel que l’a laissé le dernier calcul horaire de la semaine, le 9 novembre à 0 h UTC. Il ne change plus.
- projets classés
- 159
- étoiles gagnées +33 % par rapport à la semaine précédente
- 36 420
- nouveaux dans le top 10
- 8 sur 10
- classés dans #llm-serving pour la première fois
- 32
Le top 10
Classés par étoiles gagnées sur les sept jours, rapportées à la taille de chaque projet : un projet peut ainsi passer devant un autre qui en a gagné plus.
- 1Prefrontal-AI/latent-sparse-attention Code for Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attentionétoiles cette semaine-là +441
- 2synchopate/llama-modchip Run 284B DeepSeek-V4-Flash (<59GiB RAM: 41.1 cold pp, 9.1 N=1 tg, up to 25.3 spec tok/s) & 30B MoEs (22.4 N=1 / 111.6 spec tok/s) on 64GB CPU (0 GPUs).étoiles cette semaine-là +411
- 3yetone/magpie Every agent's model. One place. Codex on DeepSeek, Claude Code on Kimi, from the menu bar.étoiles cette semaine-là +4,4 k
- 4FareedKhan-dev/kimi-k3-in-c A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU.étoiles cette semaine-là +2,1 k
- 5Niko1221/Strata Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.étoiles cette semaine-là +4,1 k
- 6ShawnZhuge/aiotto 面向 OpenAI Codex 的桌面伴侣 —— 账号额度、中转路由、会话与用量,一个应用搞定。🦦étoiles cette semaine-là +206
- 7jesdga95/basalt Local inference engine optimized for NVIDIA Blackwellétoiles cette semaine-là +351
- 8tashfeenahmed/freellmapi 10.1 billion tokens per month. 87 free LLM providers. 1,313 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.étoiles cette semaine-là +3,4 k
6 projets de ce classement ont été retirés depuis et ne sont pas montrés : supprimés de GitHub ou écartés par la revue d’Upstar. Leurs rangs restent vides.
Rangs 11 à 30
- 11RustingStudio/RustingStratanon classé la semaine précédente +134 étoiles cette semaine-là
- 12Magnvs7/Promethevsnon classé la semaine précédente +125 étoiles cette semaine-là
- 13Alice-Marx/dsh-model-routeren hausse, n° 14 la semaine précédente +304 étoiles cette semaine-là
- 14undrgrnd-labs/hunchnon classé la semaine précédente +203 étoiles cette semaine-là
- 15Continuum-AI-Corp/OrcaRouter-Litenon classé la semaine précédente +398 étoiles cette semaine-là
- 16FlashML-org/FreeTokenen hausse, n° 37 la semaine précédente +1,2 k étoiles cette semaine-là
- 17Generated-Computers/Localsen hausse, n° 36 la semaine précédente +200 étoiles cette semaine-là
- 18ThinkWatchProject/ThinkWatch-Liteen hausse, n° 25 la semaine précédente +231 étoiles cette semaine-là
- 19StartLuxLabs/StartLux-Prismen baisse, n° 4 la semaine précédente +136 étoiles cette semaine-là
- 20cheaper-inference/OmniRouteen baisse, n° 16 la semaine précédente +2,1 k étoiles cette semaine-là
- 21christopherowen/spark-ds41fen hausse, n° 52 la semaine précédente +74 étoiles cette semaine-là
- 22Zihao-Wu06/distillopsnon classé la semaine précédente +72 étoiles cette semaine-là
- 23AIAgentAndy/DeepAAnon classé la semaine précédente +70 étoiles cette semaine-là
- 24simplexai-labs/PolyStrataen baisse, n° 11 la semaine précédente +177 étoiles cette semaine-là
- 25respanai/respan-gatewayen baisse, n° 15 la semaine précédente +141 étoiles cette semaine-là
- 26Wallawalla47/Infernixen hausse, n° 54 la semaine précédente +89 étoiles cette semaine-là
- 27mw00/project-mayaen baisse, n° 10 la semaine précédente +303 étoiles cette semaine-là
- 29JakeATX/llamAmpereen hausse, n° 88 la semaine précédente +88 étoiles cette semaine-là
- 30dayuwang401/spectral-orthogonal-explorationen baisse, n° 26 la semaine précédente +60 étoiles cette semaine-là
Afficher les 126 autres projets
- 31deepseek-ai/DeepInferen baisse, n° 5 la semaine précédente +785 étoiles cette semaine-là
- 32nace-ai/kapitsaen hausse, n° 34 la semaine précédente +116 étoiles cette semaine-là
- 3301men/ybkkasien baisse, n° 30 la semaine précédente +47 étoiles cette semaine-là
- 34affifuddin-hazam/ghost-infernon classé la semaine précédente +46 étoiles cette semaine-là
- 36prabanta-dev/janasen hausse, n° 38 la semaine précédente +105 étoiles cette semaine-là
- 38openlake-project/openlakenon classé la semaine précédente +218 étoiles cette semaine-là
- 39drawthingsai/local-code-communityen baisse, n° 17 la semaine précédente +42 étoiles cette semaine-là
- 40bitcloud-ai/Bittuneen baisse, n° 23 la semaine précédente +51 étoiles cette semaine-là
- 41skydiscover-ai/jitenginenon classé la semaine précédente +39 étoiles cette semaine-là
- 42davanstrien/saturatenon classé la semaine précédente +37 étoiles cette semaine-là
- 43atdev-company/atdev-servenon classé la semaine précédente +37 étoiles cette semaine-là
- 44LAGcomcom/Lamp-Guidenon classé la semaine précédente +36 étoiles cette semaine-là
- 46patchy631/time-to-first-tokennon classé la semaine précédente +105 étoiles cette semaine-là
- 47Lowaltitudeflight/local-llm-tuning-guidenon classé la semaine précédente +33 étoiles cette semaine-là
- 48yanstd888/yanstd888.github.ionon classé la semaine précédente +33 étoiles cette semaine-là
- 49ahtx/kindien baisse, n° 33 la semaine précédente +34 étoiles cette semaine-là
- 50incoai/splashen baisse, n° 39 la semaine précédente +138 étoiles cette semaine-là
- 510xShug0/audio.cppen hausse, n° 59 la semaine précédente +192 étoiles cette semaine-là
- 52WizisCool/oh-my-cpaen baisse, n° 47 la semaine précédente +50 étoiles cette semaine-là
- 53musicurgy/delta-inference-engineen baisse, n° 31 la semaine précédente +29 étoiles cette semaine-là
- 54syv-ai/HyperQwenen baisse, n° 32 la semaine précédente +144 étoiles cette semaine-là
- 55ashhart/TensorFolden hausse, n° 61 la semaine précédente +113 étoiles cette semaine-là
- 56davide-troiani/moeshiftnon classé la semaine précédente +28 étoiles cette semaine-là
- 57JaydenTeoh/Soft-MTPnon classé la semaine précédente +28 étoiles cette semaine-là
- 58ekzhang/resinen baisse, n° 1 la semaine précédente +53 étoiles cette semaine-là
- 59higress-group/HiRouteen hausse, n° 95 la semaine précédente +53 étoiles cette semaine-là
- 60mozilla-ai/otarinon classé la semaine précédente +74 étoiles cette semaine-là
- 61Incept5-AI/inferdnon classé la semaine précédente +26 étoiles cette semaine-là
- 62drumih/turbo-fieldfareen hausse, n° 118 la semaine précédente +218 étoiles cette semaine-là
- 63lyogavin/airllmen baisse, n° 41 la semaine précédente +492 étoiles cette semaine-là
- 64benmaster82/Pithosnon classé la semaine précédente +24 étoiles cette semaine-là
- 65skyzh/tiny-llmen baisse, n° 12 la semaine précédente +178 étoiles cette semaine-là
- 66rednote-machine-learning/RedKnoten baisse, n° 24 la semaine précédente +131 étoiles cette semaine-là
- 67Imironman123/llm-interview-notesnon classé la semaine précédente +23 étoiles cette semaine-là
- 68ZhuLinsen/LiteMoEnon classé la semaine précédente +23 étoiles cette semaine-là
- 69Indras-Mirror/Xolotlen baisse, n° 40 la semaine précédente +48 étoiles cette semaine-là
- 70peonist-ai/halogen-flash-serveren baisse, n° 68 la semaine précédente +78 étoiles cette semaine-là
- 71agentgateway/agentgatewayen baisse, n° 55 la semaine précédente +173 étoiles cette semaine-là
- 72shuishuipingan/qoder2api-huben baisse, n° 29 la semaine précédente +49 étoiles cette semaine-là
- 73zexadev/gemini-web2api-goen baisse, n° 65 la semaine précédente +59 étoiles cette semaine-là
- 74NVIDIA/hyperflare-inferenceen baisse, n° 62 la semaine précédente +58 étoiles cette semaine-là
- 75ddalcu/mlx-serveen baisse, n° 42 la semaine précédente +101 étoiles cette semaine-là
- 76OmniJev/Flidenon classé la semaine précédente +21 étoiles cette semaine-là
- 77pegainfer-project/kernnon classé la semaine précédente +25 étoiles cette semaine-là
- 78ggml-org/llama.cppen baisse, n° 70 la semaine précédente +742 étoiles cette semaine-là
- 79giienew/9router-proen baisse, n° 20 la semaine précédente +20 étoiles cette semaine-là
- 80ai-gateways/awesome-ai-gatewaysnon classé la semaine précédente +20 étoiles cette semaine-là
- 81QuantumNous/new-apien baisse, n° 71 la semaine précédente +447 étoiles cette semaine-là
- 82decolua/9routeren baisse, n° 64 la semaine précédente +352 étoiles cette semaine-là
- 83eliasbiondo/antirionen baisse, n° 3 la semaine précédente +40 étoiles cette semaine-là
- 84panxunying/ai-coding-welfareen hausse, n° 93 la semaine précédente +67 étoiles cette semaine-là
- 85bojieli/ai-infra-booken baisse, n° 58 la semaine précédente +161 étoiles cette semaine-là
- 86amitshekhariitbhu/ai-engineering-courseen baisse, n° 72 la semaine précédente +45 étoiles cette semaine-là
- 87vllm-project/vllm-omnien hausse, n° 90 la semaine précédente +150 étoiles cette semaine-là
- 88BerriAI/litellmen baisse, n° 76 la semaine précédente +425 étoiles cette semaine-là
- 89maximhq/bifrosten baisse, n° 78 la semaine précédente +163 étoiles cette semaine-là
- 90vllm-project/vllmen baisse, n° 79 la semaine précédente +492 étoiles cette semaine-là
- 91MemTensor/MemT-1.0en baisse, n° 43 la semaine précédente +35 étoiles cette semaine-là
- 92Orchestra-Research/AI-Research-SKILLsen baisse, n° 77 la semaine précédente +184 étoiles cette semaine-là
- 93eagle-hq/EAGLE-4en baisse, n° 48 la semaine précédente +51 étoiles cette semaine-là
- 94rkinas/basalnon classé la semaine précédente +26 étoiles cette semaine-là
- 95datawhalechina/zero-to-sglangen baisse, n° 84 la semaine précédente +62 étoiles cette semaine-là
- 96StartLuxLabs/StartLux-Decisionen baisse, n° 82 la semaine précédente +61 étoiles cette semaine-là
- 97lemonade-sdk/lemonadeen hausse, n° 127 la semaine précédente +113 étoiles cette semaine-là
- 98lidge-jun/opencodexen baisse, n° 75 la semaine précédente +194 étoiles cette semaine-là
- 99jundot/omlxen baisse, n° 86 la semaine précédente +197 étoiles cette semaine-là
- 100gitleaks/gitleaksen baisse, n° 87 la semaine précédente +222 étoiles cette semaine-là
- 101recursive-oss/recen baisse, n° 56 la semaine précédente +20 étoiles cette semaine-là
- 102trymirai/uzuen baisse, n° 8 la semaine précédente +69 étoiles cette semaine-là
- 103T-Crypt/berthen baisse, n° 35 la semaine précédente +20 étoiles cette semaine-là
- 104sgl-project/sglang-omnien baisse, n° 102 la semaine précédente +48 étoiles cette semaine-là
- 105nokia-applied-research/AnyJeven baisse, n° 83 la semaine précédente +46 étoiles cette semaine-là
- 106AtomicBot-ai/Atomic-Chaten baisse, n° 85 la semaine précédente +51 étoiles cette semaine-là
- 107magnitudedev/magnitudeen baisse, n° 46 la semaine précédente +100 étoiles cette semaine-là
- 108verl-project/verl-omnien baisse, n° 81 la semaine précédente +43 étoiles cette semaine-là
- 109pallavi-shekhar/ai-engineering-interview-questions-company-wiseen baisse, n° 66 la semaine précédente +50 étoiles cette semaine-là
- 1101CatAI/1Cat-vLLMen baisse, n° 92 la semaine précédente +41 étoiles cette semaine-là
- 111lbjlaq/Antigravity-Manageren baisse, n° 94 la semaine précédente +194 étoiles cette semaine-là
- 112SemiAnalysisAI/InferenceXen hausse, n° 122 la semaine précédente +47 étoiles cette semaine-là
- 113Calcium-Ion/AstrLinken baisse, n° 13 la semaine précédente +22 étoiles cette semaine-là
- 114w8123/EnterpriseAgentFrameworken baisse, n° 73 la semaine précédente +30 étoiles cette semaine-là
- 115NightMean/OlliteRTen baisse, n° 109 la semaine précédente +23 étoiles cette semaine-là
- 116XHToken/Spark-X2.6en baisse, n° 100 la semaine précédente +27 étoiles cette semaine-là
- 117ARahim3/kaggle-tpu-laben baisse, n° 106 la semaine précédente +24 étoiles cette semaine-là
- 118lightseekorg/tokenspeeden baisse, n° 97 la semaine précédente +46 étoiles cette semaine-là
- 119alibaba/MNNen hausse, n° 135 la semaine précédente +110 étoiles cette semaine-là
- 120vllm-project/vllm-metalen baisse, n° 117 la semaine précédente +34 étoiles cette semaine-là
- 121gpustack/gpustacken hausse, n° 123 la semaine précédente +59 étoiles cette semaine-là
- 122warpfront/hipfireen baisse, n° 98 la semaine précédente +21 étoiles cette semaine-là
- 123seakee/CPA-Manager-Plusen baisse, n° 110 la semaine précédente +46 étoiles cette semaine-là
- 124StayLameBro/backburneren baisse, n° 114 la semaine précédente +24 étoiles cette semaine-là
- 125kvcache-ai/Mooncakeen baisse, n° 112 la semaine précédente +58 étoiles cette semaine-là
- 126vllm-project/semantic-routeren baisse, n° 91 la semaine précédente +55 étoiles cette semaine-là
- 127antirez/ds4en baisse, n° 116 la semaine précédente +107 étoiles cette semaine-là
- 128antirez/h3.cen baisse, n° 121 la semaine précédente +37 étoiles cette semaine-là
- 129fosrl/pangolinen hausse, n° 134 la semaine précédente +99 étoiles cette semaine-là
- 130musistudio/claude-code-routeren baisse, n° 129 la semaine précédente +122 étoiles cette semaine-là
- 131flashinfer-ai/flashinferen baisse, n° 128 la semaine précédente +50 étoiles cette semaine-là
- 132algorithmicsuperintelligence/openevolveen hausse, n° 139 la semaine précédente +53 étoiles cette semaine-là
- 133exo-explore/exoen baisse, n° 131 la semaine précédente +124 étoiles cette semaine-là
- 134LMCache/LMCacheen baisse, n° 113 la semaine précédente +56 étoiles cette semaine-là
- 135IBM/mcp-context-forgeen baisse, n° 124 la semaine précédente +33 étoiles cette semaine-là
- 136amitshekhariitbhu/ai-engineering-interview-questionsen baisse, n° 120 la semaine précédente +28 étoiles cette semaine-là
- 137NVIDIA/TensorRT-LLMen hausse, n° 141 la semaine précédente +57 étoiles cette semaine-là
- 138youssofal/MTPLXen baisse, n° 126 la semaine précédente +24 étoiles cette semaine-là
- 139vllm-project/vllm-ascenden baisse, n° 133 la semaine précédente +25 étoiles cette semaine-là
- 140Portkey-AI/gatewayen hausse, n° 150 la semaine précédente +52 étoiles cette semaine-là
- 141ai-dynamo/dynamoen baisse, n° 138 la semaine précédente +41 étoiles cette semaine-là
- 142casdoor/casdooren baisse, n° 130 la semaine précédente +54 étoiles cette semaine-là
- 143future-agi/future-agien baisse, n° 115 la semaine précédente +20 étoiles cette semaine-là
- 144raullenchai/Rapid-MLXen baisse, n° 107 la semaine précédente +27 étoiles cette semaine-là
- 145sqliteai/warpnon classé la semaine précédente +21 étoiles cette semaine-là
- 146EricLBuehler/mistral.rsnon classé la semaine précédente +31 étoiles cette semaine-là
- 147superlinked/sienon classé la semaine précédente +20 étoiles cette semaine-là
- 148InsForge/InsForgeen baisse, n° 125 la semaine précédente +38 étoiles cette semaine-là
- 149looplj/axonhuben baisse, n° 145 la semaine précédente +24 étoiles cette semaine-là
- 150openvinotoolkit/openvinoen baisse, n° 140 la semaine précédente +33 étoiles cette semaine-là
- 151skypilot-org/skypiloten baisse, n° 148 la semaine précédente +32 étoiles cette semaine-là
- 152kserve/kserveen baisse, n° 147 la semaine précédente +24 étoiles cette semaine-là
- 153deepseek-ai/FlashMLAen baisse, n° 142 la semaine précédente +30 étoiles cette semaine-là
- 154cactus-compute/enginenon classé la semaine précédente +20 étoiles cette semaine-là
- 155budtmo/docker-androiden baisse, n° 137 la semaine précédente +32 étoiles cette semaine-là
- 156tbphp/gpt-loaden baisse, n° 144 la semaine précédente +21 étoiles cette semaine-là
- 157apache/apisixen baisse, n° 151 la semaine précédente +24 étoiles cette semaine-là
- 158mlc-ai/web-llmen baisse, n° 149 la semaine précédente +23 étoiles cette semaine-là
- 159kvcache-ai/ktransformersen baisse, n° 152 la semaine précédente +23 étoiles cette semaine-là