llamafile

Leverera en hel LLM som en enda plattformsoberoende körbar fil.

llamafile, från Mozilla Ocho, paketerar en LLM och dess vikter i en enda körbar fil som körs på macOS, Windows, Linux och BSD utan installation eller beroenden. Det kombinerar llama.cpp med Cosmopolitan Libc för att producera en portabel fil som startar ett lokalt chat-UI och en OpenAI-kompatibel server. Projektet är utformat för att göra distribution och körning av lokala modeller lika enkelt som att ladda ned och köra en enda fil.