vllm-metal

Nécessite un Mac Apple Silicon. Il fonctionne comme plugin vLLM avec MLX comme moteur de calcul, ce qui permet de servir les modèles avec l’interface et les commandes habituelles de vLLM.

Résumé écrit par une IA à partir de la description et du README du dépôt.