llamafile

Tüm bir LLM'yi tek bir çapraz platform çalıştırılabilir dosyası olarak dağıtın.

Mozilla Ocho tarafından geliştirilen llamafile, bir LLM'yi ve ağırlıklarını; kurulum veya bağımlılık gerektirmeksizin macOS, Windows, Linux ve BSD üzerinde çalışan tek bir çalıştırılabilir dosyada paketler. Taşınabilir bir dosya üretmek için llama.cpp ile Cosmopolitan Libc'yi bir araya getirir; bu dosya yerel bir sohbet UI'ı ve OpenAI uyumlu bir sunucu başlatır. Yerel modellerin dağıtılmasını ve çalıştırılmasını tek bir dosyayı indirip çalıştırmak kadar basit hale getirmek amacıyla tasarlanmıştır.