LocalAI

API compatibile con OpenAI come drop-in replacement che esegue modelli sul proprio hardware.

LocalAI è un server di inferenza open-source self-hosted che fornisce un'API compatibile con OpenAI come drop-in replacement per eseguire modelli in locale. Supporta molteplici backend (tra cui llama.cpp, Whisper e modelli di diffusione), così un singolo endpoint può servire generazione di testo, embedding, trascrizione audio e generazione di immagini senza servizi cloud esterni. Gira su hardware consumer ed è distribuito come binario singolo o container.