ggml-org /
llama.cpp
Il fonctionne sur Apple silicon, x86, RISC-V et sur des GPU NVIDIA, AMD, Moore Threads ou Vulkan, avec des modèles quantifiés et une inférence hybride CPU+GPU. Installation par Docker, binaires précompilés ou compilation depuis les sources.
Résumé écrit par une IA à partir de la description et du README du dépôt.
Mis à jour il y a 13 min
Pourquoi maintenant
La version v0.8.0 est sortie le 28 octobre.
+780 étoiles gagnées cette semaine
Étoiles gagnées chaque jour, sur 30 jours
Rythme habituel · 115 / jour
4 oct.19 oct.Aujourd’hui
Cette semaine Avant Rythme habituel
Sur GitHub
LLM inference in C/C++
La description écrite par ses auteurs sur GitHub.
ggml-org / llama.cpp
Voir sur GitHub(nouvel onglet)