Ollama

Kör Llama, Mistral och fler modeller lokalt med ett enda kommando.

Ollama är ett öppet verktyg för att köra stora språkmodeller lokalt med ett enda kommando. Det paketerar modellvikter, konfiguration och en körning (byggd på llama.cpp) i ett enkelt CLI och en lokal HTTP-server, och hanterar nedladdning av modeller, kvantiseringsformat och GPU-acceleration på macOS, Linux och Windows. Det exponerar ett REST API och en OpenAI-kompatibel endpoint, vilket gör lokala modeller enkla att anropa från applikationer.