exo

Conecta dispositivos cotidianos en un clúster p2p para ejecutar modelos de frontera.

exo es un proyecto de código abierto para ejecutar grandes modelos de IA distribuidos entre múltiples dispositivos cotidianos, como portátiles, teléfonos y ordenadores de placa única. Particiona el modelo dinámicamente en un clúster peer-to-peer de hardware heterogéneo, permitiendo que los dispositivos combinen su memoria y capacidad de cómputo para ejecutar modelos demasiado grandes para cualquier máquina individual. Expone una API compatible con OpenAI para el clúster unificado.