Open SourceLokal46k
exo
Alltägliche Geräte zu einem P2P-Cluster verbinden, um Frontier-Modelle auszuführen.
exo ist ein Open-Source-Projekt zum verteilten Ausführen großer KI-Modelle über mehrere alltägliche Geräte wie Laptops, Telefone und Einplatinencomputer. Es partitioniert ein Modell dynamisch über ein Peer-to-Peer-Cluster heterogener Hardware und ermöglicht es Geräten, ihren Arbeitsspeicher und ihre Rechenleistung zu bündeln, um Modelle auszuführen, die zu groß für eine einzelne Maschine sind. Es exponiert eine OpenAI-kompatible API für den vereinten Cluster.
Repository
exo-explore/exoSprache
PythonWas du damit bauen kannst
- Ausführen eines großen Modells über mehrere Consumer-Maschinen statt Anschaffung einer Hochleistungs-GPU mit viel VRAM
- Zusammenführen von Arbeitsspeicher gemischter Geräte in einem lokalen Netzwerk, um größere Modelle für die Inferenz zu laden
- Experimentieren mit verteiltem, Peer-to-Peer-LLM-Serving unter Verwendung vorhandener Hardware
Tags
distributedclusterlocal