exo

Günlük cihazları, sınır modeli çalıştırmak için p2p kümeye bağlayın.

exo, büyük AI modellerini dizüstü bilgisayarlar, telefonlar ve tek kartlı bilgisayarlar gibi birden fazla günlük cihaza dağıtılmış biçimde çalıştırmak için geliştirilmiş açık kaynaklı bir projedir. Modeli heterojen donanımdan oluşan eşten eşe bir küme üzerinde dinamik olarak bölümler; böylece cihazlar, tek bir makine için çok büyük modelleri çalıştırmak üzere bellek ve işlem güçlerini birleştirebilir. Birleşik küme için OpenAI uyumlu bir API sunar.