llama.cpp

Inférence LLM en C/C++ pur avec quantification ; tourne presque partout.

llama.cpp est un moteur d'inférence en C/C++ pour exécuter des LLM efficacement sur du matériel grand public, y compris des CPU et une large gamme de GPU. Il a été pionnier du format de modèle GGUF et d'une quantification agressive (par exemple 4 bits, 5 bits) permettant de faire tourner de grands modèles sur des machines de consommateurs, et il sous-tend de nombreux outils LLM locaux de plus haut niveau. Il embarque un CLI, un serveur avec une API compatible OpenAI, ainsi que des bindings utilisés dans tout l'écosystème.