llamafile

Distribuez un LLM complet sous forme d'un seul exécutable multiplateforme.

llamafile, créé par Mozilla Ocho, empaquète un LLM et ses poids dans un unique exécutable fonctionnant sur macOS, Windows, Linux et BSD sans installation ni dépendances. Il combine llama.cpp avec Cosmopolitan Libc pour produire un fichier portable qui lance une interface de chat locale et un serveur compatible OpenAI. Il est conçu pour rendre la distribution et l'exécution de modèles locaux aussi simple que de télécharger et lancer un seul fichier.