Ollama

Esegui Llama, Mistral e altri modelli in locale con un solo comando.

Ollama è uno strumento open-source per eseguire modelli linguistici di grandi dimensioni in locale con un singolo comando. Impacchetta i pesi del modello, la configurazione e un runtime (basato su llama.cpp) in una semplice CLI e un server HTTP locale, gestendo il download dei modelli, i formati di quantizzazione e l'accelerazione GPU su macOS, Linux e Windows. Espone una REST API e un endpoint compatibile con OpenAI, rendendo i modelli locali facili da invocare dalle applicazioni.