Dami-wq-k03 /
nano-lmcache
Un projet pédagogique en Python, pas à pas, qui enseigne la réutilisation du cache KV et le préfixe caching des LLM, du prototype pur Python jusqu’aux tenseurs GPU et à l’intégration vLLM. C’est une ressource d’apprentissage, pas un remplacement de LMCache.
Résumé écrit par une IA à partir de la description et du README du dépôt.
Mis Ă jour il y a 23Â min
Étoiles gagnées chaque jour, sur 30 jours
4 oct.19 oct.Aujourd’hui
Cette semaine Avant
Sur GitHub
📚 An educational, step-by-step implementation of LLM KV cache reuse — learn prefix caching, chunk keys, storage & eviction, from pure Python to GPU tensors and vLLM integration. Inspired by LMCache.
La description Ă©crite par ses auteurs sur GitHub.
Dami-wq-k03 / nano-lmcache
Voir sur GitHub(nouvel onglet)