omlx
Il nécessite un Mac Apple Silicon sous macOS 15 ou plus récent, et Python 3.11 à 3.13 si compilé depuis les sources. On l’utilise via l’application de barre de menus ou la commande omlx, avec une API compatible OpenAI.
Résumé écrit par une IA à partir de la description et du README du dépôt.
Mis à jour il y a 16 min
Pourquoi maintenant
La version v0.7.3 est sortie le 31 octobre.
+231 étoiles gagnées cette semaine
Étoiles gagnées chaque jour, sur 30 jours
Sur GitHub
LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar
La description écrite par ses auteurs sur GitHub.