exo

Connectez des appareils du quotidien en cluster p2p pour exécuter des modèles frontier.

exo est un projet open source permettant d'exécuter de grands modèles IA en les répartissant sur plusieurs appareils courants, tels que des laptops, des téléphones et des ordinateurs monocarte. Il partitionne dynamiquement un modèle sur un cluster pair-à-pair de matériel hétérogène, permettant aux appareils de combiner leur mémoire et leur puissance de calcul pour exécuter des modèles trop grands pour une seule machine. Il expose une API compatible OpenAI pour le cluster unifié.