مفتوح المصدرمحلي23k
llamafile
أرسِل نموذج LLM كاملاً في ملف تنفيذي واحد يعمل على جميع المنصات.
يقوم llamafile، من Mozilla Ocho، بتحزيم نموذج LLM مع أوزانه في ملف تنفيذي واحد يعمل على macOS وWindows وLinux وBSD دون الحاجة إلى تثبيت أو تبعيات. يجمع بين llama.cpp وCosmopolitan Libc لإنتاج ملف محمول واحد يُشغّل واجهة محادثة محلية وخادماً متوافقاً مع OpenAI. صُمِّم لجعل توزيع النماذج المحلية وتشغيلها بسيطاً كتنزيل ملف واحد وتشغيله.
المستودع
Mozilla-Ocho/llamafileاللغة
C++ما الذي يمكنك بناؤه به
- توزيع نموذج قابل للتشغيل كملف واحد يعمل عبر أنظمة التشغيل المختلفة
- تشغيل خادم محلي متوافق مع OpenAI دون أي سلسلة أدوات أو تبعيات
- تجميع نموذج محدد مع تطبيق لنشر قابل للتكرار وبدون اتصال بالإنترنت
الوسوم
portablesingle-filecross-platformopenai-compatible