exo

Verbind alledaagse apparaten tot een p2p-cluster om frontier-modellen te draaien.

exo is een open-source project voor het gedistribueerd uitvoeren van grote AI-modellen over meerdere alledaagse apparaten, zoals laptops, telefoons en single-board computers. Het verdeelt een model dynamisch over een peer-to-peer-cluster van heterogene hardware, waardoor apparaten hun geheugen en rekenkracht kunnen bundelen om modellen te draaien die te groot zijn voor één enkele machine. Het biedt een OpenAI-compatibele API voor het gecombineerde cluster.