مفتوح المصدرمحلي46k
exo
اربط الأجهزة اليومية في كتلة p2p لتشغيل النماذج الحدّية.
exo مشروع مفتوح المصدر لتشغيل نماذج الذكاء الاصطناعي الكبيرة موزّعةً عبر أجهزة يومية متعددة كأجهزة الحاسوب المحمول والهواتف وأجهزة الحوسبة أحادية اللوحة. يُقسّم النموذج ديناميكيًا عبر كتلة peer-to-peer من الأجهزة غير المتجانسة، مما يتيح للأجهزة الجمع بين ذاكرتها وقدرتها الحسابية لتشغيل نماذج أكبر من طاقة أي جهاز منفرد. يكشف API متوافقة مع OpenAI للكتلة الموحدة.
المستودع
exo-explore/exoاللغة
Pythonما الذي يمكنك بناؤه به
- تشغيل نموذج كبير عبر عدة أجهزة استهلاكية بدلًا من شراء وحدة GPU ذات VRAM عالٍ
- تجميع الذاكرة من أجهزة مختلطة على شبكة محلية لاستيعاب نماذج أكبر في الاستدلال
- التجريب مع تقديم LLM الموزّع والقائم على peer-to-peer باستخدام الأجهزة الحالية
الوسوم
distributedclusterlocal