exo

Koble hverdagsenheter sammen i en p2p-klynge for å kjøre frontmodeller.

exo er et åpen kildekode-prosjekt for å kjøre store AI-modeller distribuert på tvers av flere hverdagsenheter, som bærbare datamaskiner, telefoner og enkortdatamaskiner. Det partisjonerer dynamisk en modell på tvers av en peer-to-peer-klynge av heterogen maskinvare, slik at enheter kan kombinere minne og beregningskraft for å kjøre modeller som er for store for én enkelt maskin. Det eksponerer et OpenAI-kompatibelt API for den samlede klyngen.