Open SourceLocale46k
exo
Collega dispositivi comuni in un cluster p2p per eseguire modelli frontier.
exo è un progetto open-source per eseguire grandi modelli AI distribuiti su più dispositivi comuni, come laptop, smartphone e single-board computer. Partiziona dinamicamente un modello su un cluster peer-to-peer di hardware eterogeneo, permettendo ai dispositivi di combinare memoria e capacità di calcolo per eseguire modelli troppo grandi per qualsiasi singola macchina. Espone un'API compatibile con OpenAI per il cluster unificato.
Repository
exo-explore/exoLinguaggio
PythonCosa ci costruiresti
- Eseguire un modello di grandi dimensioni su più macchine consumer invece di acquistare una singola GPU con molta VRAM
- Mettere in pool la memoria di dispositivi misti su una rete locale per far stare modelli più grandi in inferenza
- Sperimentare con il serving LLM distribuito e peer-to-peer usando l'hardware esistente
Tag
distributedclusterlocal