كل المشاريع مفتوحة المصدر
مفتوح المصدرمحلي46k

exo

اربط الأجهزة اليومية في كتلة p2p لتشغيل النماذج الحدّية.

exo مشروع مفتوح المصدر لتشغيل نماذج الذكاء الاصطناعي الكبيرة موزّعةً عبر أجهزة يومية متعددة كأجهزة الحاسوب المحمول والهواتف وأجهزة الحوسبة أحادية اللوحة. يُقسّم النموذج ديناميكيًا عبر كتلة peer-to-peer من الأجهزة غير المتجانسة، مما يتيح للأجهزة الجمع بين ذاكرتها وقدرتها الحسابية لتشغيل نماذج أكبر من طاقة أي جهاز منفرد. يكشف API متوافقة مع OpenAI للكتلة الموحدة.

المستودع

exo-explore/exo

اللغة

Python

ما الذي يمكنك بناؤه به

  • تشغيل نموذج كبير عبر عدة أجهزة استهلاكية بدلًا من شراء وحدة GPU ذات VRAM عالٍ
  • تجميع الذاكرة من أجهزة مختلطة على شبكة محلية لاستيعاب نماذج أكبر في الاستدلال
  • التجريب مع تقديم LLM الموزّع والقائم على peer-to-peer باستخدام الأجهزة الحالية

الوسوم

distributedclusterlocal