OrbitInfra /
OrbitKV
OrbitKV étend le cache KV de vLLM et SGLang au-delà de la mémoire GPU en stockant les préfixes réutilisables en DRAM ou sur SSD. Il s’adresse aux équipes qui servent des documents répétés, des invites système partagées ou de longues conversations.
Résumé écrit par une IA à partir de la description et du README du dépôt.
Mis à jour il y a 15 min
Étoiles gagnées chaque jour, sur 30 jours
Rythme habituel · 3 / jour
4 oct.19 oct.Aujourd’hui
Cette semaine Avant Rythme habituel
Sur GitHub
High Performance KV Cache for LLM Inference
La description écrite par ses auteurs sur GitHub.
OrbitInfra / OrbitKV
Voir sur GitHub(nouvel onglet)