llama.cpp

Inferencia LLM en C/C++ puro con cuantización; funciona casi en cualquier parte.

llama.cpp es un motor de inferencia en C/C++ para ejecutar LLMs de forma eficiente en hardware convencional, incluidas CPUs y una amplia variedad de GPUs. Fue pionero en el formato de modelos GGUF y en la cuantización agresiva (por ejemplo, 4 bits, 5 bits) que permite ejecutar grandes modelos en máquinas de consumo, y sirve de base a muchas herramientas de LLM local de nivel superior. Incluye una CLI, un servidor con API compatible con OpenAI y bindings utilizados en todo el ecosistema.