exo

Koppla samman vardagliga enheter till ett p2p-kluster för att köra frontiermodeller.

exo är ett öppet projekt för att köra stora AI-modeller distribuerat över flera vardagliga enheter, som bärbara datorer, telefoner och enkortsdatorer. Det partitionerar dynamiskt en modell över ett peer-to-peer-kluster av heterogen hårdvara, vilket låter enheter kombinera sitt minne och beräkningskraft för att köra modeller som är för stora för en enskild maskin. Det exponerar ett OpenAI-kompatibelt API för det samlade klustret.