llamafile

Distribuisci un intero LLM come singolo file eseguibile multipiattaforma.

llamafile, sviluppato da Mozilla Ocho, racchiude un LLM e i suoi pesi in un unico eseguibile che gira su macOS, Windows, Linux e BSD senza installazione né dipendenze. Combina llama.cpp con Cosmopolitan Libc per produrre un file portabile che avvia un'interfaccia di chat locale e un server compatibile con OpenAI. È progettato per rendere la distribuzione e l'esecuzione di modelli locali semplice quanto scaricare ed eseguire un file.