Ollama

Draai Llama, Mistral en andere modellen lokaal met één commando.

Ollama is een open-source tool voor het lokaal uitvoeren van grote taalmodellen met één commando. Het verpakt modelgewichten, configuratie en een runtime (gebouwd op llama.cpp) in een eenvoudige CLI en lokale HTTP-server, en regelt het downloaden van modellen, kwantisatieformaten en GPU-versnelling op macOS, Linux en Windows. Het biedt een REST API en een OpenAI-compatibel endpoint, waardoor lokale modellen eenvoudig vanuit applicaties aan te roepen zijn.