dynamo

Destiné aux équipes qui servent des LLM sur plusieurs GPU ou nœuds, il se place au-dessus de SGLang, TensorRT-LLM ou vLLM et s’appuie sur une infrastructure de type Kubernetes. Inutile pour un seul modèle sur un GPU.

Résumé écrit par une IA à partir de la description et du README du dépôt.