مفتوح المصدرمحلي100k
Ollama
شغّل Llama و Mistral وأمثالها محليًا بأمر واحد.
Ollama أداة مفتوحة المصدر لتشغيل نماذج اللغة الكبيرة محليًا بأمر واحد. تُحزم أوزان النماذج وإعداداتها وبيئة التشغيل (المبنية على llama.cpp) في واجهة CLI بسيطة وخادم HTTP محلي، مع إدارة تنزيل النماذج وصيغ التكميم وتسريع GPU على macOS وLinux وWindows. تكشف REST API ونقطة نهاية متوافقة مع OpenAI، مما يجعل استدعاء النماذج المحلية من التطبيقات أمرًا سهلًا.
المستودع
ollama/ollamaاللغة
Goما الذي يمكنك بناؤه به
- تشغيل النماذج ذات الأوزان المفتوحة كـ Llama و Mistral و Qwen محليًا للاستدلال الخاص وغير المتصل أثناء التطوير
- تقديم نموذج محلي خلف API متوافقة مع OpenAI حتى يتمكن كود التطبيق الحالي من التحويل من السحابة إلى المحلي بأدنى تغييرات
- نمذجة الوكلاء وخطوط أنابيب RAG على النماذج المحلية لتجنب تكاليف API لكل رمز
الوسوم
local-llmclimodels