llamafile

Lever een volledig LLM als één platformonafhankelijk uitvoerbaar bestand.

llamafile, van Mozilla Ocho, pakt een LLM en zijn gewichten in één enkel uitvoerbaar bestand dat draait op macOS, Windows, Linux en BSD zonder installatie of afhankelijkheden. Het combineert llama.cpp met Cosmopolitan Libc om één portable bestand te produceren dat een lokale chat-UI en een OpenAI-compatibele server opstart. Het is ontworpen om het verspreiden en draaien van lokale modellen zo eenvoudig te maken als één bestand downloaden en uitvoeren.