Ollama

Llama, Mistral ve benzerlerini tek bir komutla yerel olarak çalıştırın.

Ollama, büyük dil modellerini tek bir komutla yerel olarak çalıştırmaya yarayan açık kaynaklı bir araçtır. Model ağırlıklarını, yapılandırmasını ve bir çalışma zamanını (llama.cpp üzerine kurulu) basit bir CLI ve yerel HTTP sunucusunda paketler; macOS, Linux ve Windows üzerinde model indirme, kuantizasyon formatları ve GPU hızlandırmayı yönetir. Bir REST API ve OpenAI uyumlu bir endpoint sunar, bu sayede uygulamalardan yerel modelleri çağırmayı kolaylaştırır.