llamafile

Ein komplettes LLM als eine einzige plattformübergreifende ausführbare Datei ausliefern.

llamafile, von Mozilla Ocho, verpackt ein LLM samt Gewichten in eine einzige ausführbare Datei, die ohne Installation oder Abhängigkeiten auf macOS, Windows, Linux und BSD läuft. Es kombiniert llama.cpp mit Cosmopolitan Libc zu einer portablen Datei, die eine lokale Chat-UI und einen OpenAI-kompatiblen Server startet. Ziel ist es, die Verteilung und den Betrieb lokaler Modelle so einfach zu machen wie das Herunterladen und Ausführen einer einzelnen Datei.