hardenedlinux /
SonicBoom
C’est un runtime C++ et CUDA doté d’une ABI C stable, que l’on charge via libsonicboom.so depuis n’importe quel langage sans Python. Sa cible principale est l’inférence de LLM locaux sur les GPU NVIDIA grand public.
Résumé écrit par une IA à partir de la description et du README du dépôt.
Mis à jour il y a 13 min
+1 étoiles gagnées cette semaine
Étoiles gagnées chaque jour, sur 30 jours
Rythme habituel · 1 / jour
4 oct.19 oct.Aujourd’hui
Cette semaine Avant Rythme habituel
Sur GitHub
A compiler-first PyTorch alternative. MLIR-based Boom IR, Guile scripting, CUDA and CPU. On consumer GPUs it already beats llama.cpp’s LLM decode with the same kernels; the compiler makes the difference. GPLv3.
La description écrite par ses auteurs sur GitHub.
hardenedlinux / SonicBoom
Voir sur GitHub(nouvel onglet)