Upstar classe toutes les heures les projets GitHub qui montent le plus vite, dans 69 thèmes. Voir les thèmes

#llm-serving · IA & ML

Inférence & passerelles LLM

Moteurs d’inférence, serveurs de modèles et passerelles qui répartissent les requêtes entre les API de modèles.

Ce mois-ci (4 oct. – 2 nov.), en tête : DeepInfer (+24 976), Strata (+29 355) et project-maya (+2 394). Les 332 projets classés ont gagné 152 349 étoiles.

Mis à jour le 2 nov., 13:34 UTC · classé toutes les heures à partir des étoiles quotidiennes de GitHub

Mis à jour il y a 23 min

Sujet GitHub ↗ (nouvel onglet)

Classement du mois

50 sur 332 affichés

Comment Upstar classe

  1. 1
    deepseek-ai/DeepInfer DeepInfer: High-performance, large-scale inference framework for DeepSeek models Python Python · 25 k au total
    Gagnées en 30 j +25 k Score 2 497,6 Total 25 k
  2. 2
    Niko1221/Strata Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input. C++ C++ · 38,1 k au total
    Gagnées en 30 j +29,4 k Score 313,3 Total 38,1 k
  3. 3
    mw00/project-maya Project Maya - run GLM-5.3-Flash (321B MoE), DeepSeek-V4.1-Flash-1017 (748B MoE) and MiniMax-M3.1-Flash (428B MoE) privately on your own GPU(s), from one card to 16, NVIDIA or AMD, Linux or Windows. Engine, server, dashboard, OpenAI- and Anthropic-compatible API, quant tools. Cuda Cuda · 2,4 k au total Repéré à 762 étoiles
    Gagnées en 30 j +2,4 k Score 239,4 Total 2,4 k
  4. 4
    StartLuxLabs/StartLux-Decision Open decision models from 0.8B to 27B: a calibrated probability for every option in one pass, and a short thought only when unsure. Engine for vLLM, llama.cpp and MLX. Python Python · 1,6 k au total Repéré à 644 étoiles
    Gagnées en 30 j +1,5 k Score 118,0 Total 1,6 k
  5. 5
    eagle-hq/EAGLE-4 Official Inference Code of EAGLE-4 Python Python · 1,1 k au total
    Gagnées en 30 j +1,1 k Score 111,3 Total 1,1 k
  6. 6
    VecSzn/PolyStrata Run large AI models on your own PC: Qwen3.8-Flash-Next on Strata's engine, and GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder and MiniCPM-V on a second engine written for PolyStrata. One-click install for Windows and Linux, OpenAI/Anthropic API on localhost. C++ C++ · 760 au total Repéré à 196 étoiles
    Gagnées en 30 j +760 Score 76,0 Total 760
  7. 7
    NVIDIA/spark-local-inference Rust Rust · 743 au total
    Gagnées en 30 j +743 Score 74,3 Total 743
  8. 8
    Alice-Marx/dsh-model-router Model Router and GALGame plugin for DeepSeek Harness JavaScript JavaScript · 623 au total En bonne santé
    Gagnées en 30 j +623 Score 62,3 Total 623
  9. 9
    eliasbiondo/antirion 🕷️ The fastest open-source AI Gateway and LLM Gateway — one binary with built-in console to route, secure, budget and observe every LLM call across OpenAI, Anthropic, Gemini, Bedrock and more. Rust Rust · 622 au total Repéré à 95 étoiles
    Gagnées en 30 j +622 Score 62,2 Total 622
  10. 10
    nace-ai/kapitsa Blazing fast Apple Silicon optimized inference engine built for Qwen & Nemotron. OpenAI + Anthropic API compatible. Built by folks from nace.ai C++ C++ · 595 au total
    Gagnées en 30 j +595 Score 59,5 Total 595
  11. 11
    StayLameBro/backburner Your iPhone helps your Mac run a 27B model: faster prompt reading and more context over a USB-C cable Python Python · 1,2 k au total
    Gagnées en 30 j +904 Score 57,5 Total 1,2 k
  12. 12
    prabanta-dev/janas 37 tok/s from Qwen3-Next-80B (48 GB) on a 32 GB laptop, 24 without drafts vs 2.8 for llama.cpp; reading 62 vs 16 tok/s. Faster than llama.cpp on all 13 models compared in Q4_K_M. LLMs bigger than your RAM, pure C, CPU or GPU. C C · 574 au total
    Gagnées en 30 j +545 Score 54,5 Total 574
  13. 13
    routerhubSI/uncensored-ai-api Uncensored AI API and models — one key for Claude, GPT, Gemini, Grok, DeepSeek, GLM and Qwen, with uncensored and abliterated variants where available. OpenAI- and Anthropic-compatible. Pay per token. 509 au total
    Gagnées en 30 j +509 Score 50,9 Total 509
  14. 14
    MemTensor/MemT-1.0 Official repository for MemT-1.0 Python Python · 501 au total
    Gagnées en 30 j +501 Score 50,1 Total 501
  15. 15
    respanai/respan-gateway Open-source LLM gateway in Rust. One endpoint for OpenAI, Anthropic, Gemini and every other vendor. Any SDK, any model, any tool. Rust Rust · 487 au total
    Gagnées en 30 j +487 Score 48,7 Total 487
  16. 16
    ThinkWatchProject/ThinkWatch-Lite Local gateway for Claude Code, Codex and other AI clients on macOS, Windows and Linux: switch upstreams without touching clients, keep API keys from relays, cut off malicious tool calls, trace every request. TypeScript TypeScript · 532 au total
    Gagnées en 30 j +476 Score 47,6 Total 532
  17. 17
    securetron-gh/aifw AI Agent Identity and Access Management and Inference Firewall Python Python · 454 au total Peu d’activité
    Gagnées en 30 j +452 Score 45,2 Total 454
  18. 18
    jesdga95/basalt Local inference engine for Qwen3.8-Flash-Next on NVIDIA Blackwell C++ C++ · 448 au total
    Gagnées en 30 j +448 Score 44,8 Total 448
  19. 19
    Generated-Computers/Locals Run many AI agents at once on your Mac, up to 3x faster. Python Python · 447 au total
    Gagnées en 30 j +447 Score 44,7 Total 447
  20. 20
    shuishuipingan/qoder2api-hub Qoder国际国内多账号反代网关，Qoder 国际国内双区多账号 OpenAI 兼容网关中枢 — COSY 签名推理、稳定设备指纹防风控、OAuth 设备授权免客户端登录、每日签到与 Pro 福利、后台定时调度器、Web 监控看板，支持 Codex / Claude Code 与标准 OpenAI 客户端 Python Python · 498 au total
    Gagnées en 30 j +444 Score 44,4 Total 498
  21. 21
    Indras-Mirror/Xolotl Xolotl (formerly Strata-DSV4.1): run DeepSeek-V4.1-Flash, all 552B, as a local coding agent on one gaming PC (RTX 4090 + 90 GB RAM) at up to ~27 tok/s, 512K context, October 1017 builds included. Plus GLM-5.3-Flash and Qwen3.8. MoE experts tiered across VRAM, pinned RAM and NVMe; OpenAI + Anthropic… C++ C++ · 441 au total
    Gagnées en 30 j +441 Score 44,1 Total 441
  22. 22
    cheaper-inference/OmniRoute Never stop coding. Free MIT AI gateway: one endpoint, 375 providers (150+ free), 1,400+ models Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax. Works with Claude Code, Codex, Cursor, OpenCode, Cline & Copilot. Quota-aware auto-fallback, RTK+Caveman compression saves 15-95% tokens, MCP/A2A… TypeScript TypeScript · 83,7 k au total En bonne santé
    Gagnées en 30 j +11,5 k Score 42,9 Total 83,7 k
  23. 23
    ekzhang/resin 🧱 Experimental library for building inference engines Python Python · 368 au total En bonne santé
    Gagnées en 30 j +368 Score 36,8 Total 368
  24. 24
    Calcium-Ion/AstrLink A local AI gateway for AI agents, unifying your subscriptions and API providers with smart routing and on-device privacy protection. Go Go · 524 au total
    Gagnées en 30 j +396 Score 35,0 Total 524
  25. 25
    higress-group/HiRoute Make Codex and Claude Code subscriptions go further: a local model router that gives routine agent work to economical models and keeps your strongest model for the hard parts. Rust Rust · 371 au total
    Gagnées en 30 j +348 Score 34,8 Total 371
  26. 26
    lyogavin/airllm AirLLM 2.8T LLM inference with single 4GB GPU Jupyter Notebook Jupyter Notebook · 41,6 k au total En bonne santé
    Gagnées en 30 j +6,4 k Score 34,0 Total 41,6 k
  27. 27
    trymirai/uzu A high-performance inference engine for AI models Rust Rust · 3,2 k au total En bonne santé
    Gagnées en 30 j +1,4 k Score 32,1 Total 3,2 k
  28. 28
    mnfst/awesome-free-llm-apis List of Permanent Free LLM API (API Keys) JavaScript JavaScript · 12 k au total Signaux mitigés
    Gagnées en 30 j +2,9 k Score 30,1 Total 12 k
  29. 29
    xiaodou-official/xiaodou-open-platform 小豆支付开放平台：个人也能申请的支付宝+微信聚合收款接口——RSA2 签名 + webhook 验签、持牌机构清算、次日到账；兼容易支付 / 彩虹支付类插件协议零代码迁移（submit.php / mapi.php / api.php，网关 / 商家 ID / 密钥三格配置）；已兼容 Sub2API、New API（源码级核对）；支持多到账账号收款分配与分账；含 14 篇文档、四语言签名示例与本地 demo。Payment API for individuals & digital-goods merchants: Alipay + WeChat Pay, Epay-compatible… 327 au total
    Gagnées en 30 j +293 Score 29,3 Total 327
  30. 30
    WizisCool/oh-my-cpa Self-hosted control plane & usage observability console for CLIProxyAPI (CPA) — AI providers, client keys, streaming telemetry, and model cost snapshots. TypeScript TypeScript · 296 au total
    Gagnées en 30 j +286 Score 28,6 Total 296
  31. 31
    LAGcomcom/zen-gate 把 OpenCode Zen 免费模型装进你所有的 AI Agent —— Windows 托盘网关，OpenAI/Anthropic 兼容，自动适配 10+ Agent，限流自动切换 Go Go · 283 au total
    Gagnées en 30 j +283 Score 28,3 Total 283
  32. 32
    T-Crypt/berth Berth is a lightweight GPU resource manager written in Go. It controls which applications get access to your GPU, when they get it, and how that access is handed off. Go Go · 279 au total
    Gagnées en 30 j +279 Score 27,9 Total 279
  33. 33
    recursive-oss/rec Our lightning-fast inference engine. Python Python · 261 au total
    Gagnées en 30 j +261 Score 26,1 Total 261
  34. 34
    incoai/splash A local inference engine for Apple silicon, built around the model. C++ C++ · 2 k au total
    Gagnées en 30 j +868 Score 25,6 Total 2 k
  35. 35
    StartLuxLabs/StartLux-Prism Fast, exact inference for StartLux-Decision models on NVIDIA GPUs: the released GGUF files on int8 and 4-bit tensor cores, behind the /v1/systemone API, with up to 5.3× lower latency than vLLM in FP8 and bit-identical answers. Python Python · 238 au total
    Gagnées en 30 j +238 Score 23,8 Total 238
  36. 36
    Wallawalla47/Infernix C++/CUDA single-GPU inference engine for Qwen3.8 (incl. Qwen3.8-Flash-Next with offloaded experts) on the RTX 5090; grew from NInfer C++ C++ · 218 au total
    Gagnées en 30 j +218 Score 21,8 Total 218
  37. 37
    7API/uncensored-ai-api Uncensored AI API and models — one key for Claude, GPT, Gemini, Grok, DeepSeek, GLM and Kimi, with uncensored and abliterated variants where available. OpenAI- and Anthropic-compatible. Pay per token. 215 au total
    Gagnées en 30 j +215 Score 21,5 Total 215
  38. 38
    ashhart/TensorFold LLM Inference Engine for Metal, CUDA and Vulkan. Zig Zig · 1,6 k au total En bonne santé
    Gagnées en 30 j +636 Score 20,5 Total 1,6 k
  39. 39
    sergqwer/strata-nvfp4 Strata fork: Qwen3.8-Flash-Next 125B MoE in NVFP4 on one RTX 20-50 card (12 GB+) and 64 GB of RAM or more. Setup installs our GPTQ quants (huihui abliterated, OrcaRouter) from Hugging Face. CPU experts on AVX-512 or AVX2 (+AVX-VNNI), all experts in RAM from 92 GB, a low-RAM mode below, vision, W4A8… C++ C++ · 215 au total
    Gagnées en 30 j +203 Score 20,3 Total 215
  40. 40
    NerverDevs/nervecenter new-api / sub2api 中转站账号管理中心：余额、API Key、用量、倍率、模型比价 | https://nvcenter.cc TypeScript TypeScript · 198 au total
    Gagnées en 30 j +198 Score 19,8 Total 198
  41. 41
    bojieli/ai-infra-book 《深入理解 AI Infra：量化分析与系统设计》（李博杰 著）开源书稿：从硬件约束和模型架构出发，量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验 Python Python · 7,2 k au total Signaux mitigés
    Gagnées en 30 j +1,4 k Score 18,7 Total 7,2 k
  42. 42
    magnitudedev/magnitude Open source inference engine that tunes its kernels on your hardware to find the fastest way to run each model. 2x faster than Ollama. Works on Apple Silicon, NVIDIA, AMD, Intel, or just a CPU. Rust Rust · 7,7 k au total En bonne santé
    Gagnées en 30 j +1,4 k Score 17,3 Total 7,7 k
  43. 43
    modelsphere/modelsphere ModelSphere is an open-source LLM inference infrastructure designed to make production-grade model serving simple, efficient, and continuously optimized. Shell Shell · 171 au total
    Gagnées en 30 j +168 Score 16,8 Total 171
  44. 44
    justxor/deepseek-local-guide-ru 🐋 Полный гайд на русском: как установить и запустить DeepSeek локально (V4, R1) на ПК, Mac и сервере — Ollama, llama.cpp, LM Studio, vLLM, Open WebUI, API, RAG, агенты, fine-tuning, лучшие фишки Shell Shell · 169 au total
    Gagnées en 30 j +168 Score 16,8 Total 169
  45. 45
    nokia-applied-research/AnyJev Turn any LLM into a Jev-style decision model: typed decisions, real probabilities, no training. (continue updating, welcome any issue and PR request) Python Python · 1,6 k au total
    Gagnées en 30 j +534 Score 16,7 Total 1,6 k
  46. 46
    nicorobinreal/llmspeed Feel how fast a local LLM runs before you buy the hardware TypeScript TypeScript · 167 au total Peu d’activité
    Gagnées en 30 j +160 Score 16,0 Total 167
  47. 47
    bitcloud-ai/Bittune Local-first engineering agent that deploys, benchmarks and tunes vLLM/SGLang inference services on your own GPUs, with auditable run evidence. TypeScript TypeScript · 161 au total Signaux mitigés
    Gagnées en 30 j +156 Score 15,6 Total 161
  48. 48
    syv-ai/HyperQwen Serve large Qwen models fast on the GPUs you actually own. Qwen3.8-27B on a single 24 GB card with vLLM: 127 tok/s single-user (381 when the answer quotes the prompt), ~1,035 tok/s at 64 concurrent, 150k-262k context. vLLM patches, requant pipeline, benchmarks. Python Python · 2,5 k au total En bonne santé
    Gagnées en 30 j +660 Score 15,5 Total 2,5 k
  49. 49
    ddalcu/mlx-serve Native LLM inference server for Apple Silicon. OpenAI + Anthropic API compatible. No Python. Zig backend, Swift frontend macOS app with chat, music, voice, video generation. Zig Zig · 2,3 k au total En bonne santé
    Gagnées en 30 j +598 Score 14,4 Total 2,3 k
  50. 50
    lightseekorg/tokenspeed TokenSpeed is a speed-of-light LLM inference engine. Python Python · 2,8 k au total En bonne santé
    Gagnées en 30 j +661 Score 14,1 Total 2,8 k

2 dépôts à la croissance inhabituelle ne sont pas affichés. Afficher le classement complet

Afficher la suite

Émergents en Inférence & passerelles LLM Semaines passées : 26 oct.19 oct.