llamafile

Send en hel LLM som én kryssplattform kjørbar fil.

llamafile, fra Mozilla Ocho, pakker en LLM med tilhørende vekter i én enkelt kjørbar fil som kjører på macOS, Windows, Linux og BSD uten installasjon eller avhengigheter. Den kombinerer llama.cpp med Cosmopolitan Libc for å produsere én portabel fil som starter et lokalt chat-UI og en OpenAI-kompatibel server. Den er laget for å gjøre distribusjon og kjøring av lokale modeller så enkelt som å laste ned og kjøre én fil.