Ollama

Exécutez Llama, Mistral et leurs homologues en local avec une seule commande.

Ollama est un outil open source permettant d'exécuter des grands modèles de langage en local avec une seule commande. Il conditionne les poids du modèle, la configuration et un moteur d'exécution (basé sur llama.cpp) en un simple CLI et un serveur HTTP local, gérant le téléchargement des modèles, les formats de quantification et l'accélération GPU sous macOS, Linux et Windows. Il expose une API REST et un endpoint compatible OpenAI, facilitant l'appel de modèles locaux depuis les applications.