Åpen kildekodeLokal100k
Ollama
Kjør Llama, Mistral og lignende lokalt med én kommando.
Ollama er et åpen kildekode-verktøy for å kjøre store språkmodeller lokalt med én enkelt kommando. Det pakker modellvekter, konfigurasjon og en kjøretid (bygget på llama.cpp) inn i et enkelt CLI og en lokal HTTP-server, og håndterer modellnedlasting, kvantiseringsformater og GPU-akselerasjon på macOS, Linux og Windows. Det eksponerer et REST API og et OpenAI-kompatibelt endepunkt, slik at lokale modeller enkelt kan kalles fra applikasjoner.
Kodelager
ollama/ollamaSpråk
GoDet du kan bygge med den
- Kjøre åpne modeller som Llama, Mistral eller Qwen lokalt for privat, frakoblet inferens under utvikling
- Serve en lokal modell bak et OpenAI-kompatibelt API slik at eksisterende appkode kan bytte fra sky til lokalt med minimale endringer
- Prototype agenter og RAG-pipelines mot lokale modeller for å unngå per-token API-kostnader
Tagger
local-llmclimodels