llama.cpp

محرك استدلال LLM بلغة C/C++ مع التكميم؛ يعمل في أي مكان تقريبًا.

llama.cpp محرك استدلال بلغة C/C++ لتشغيل نماذج LLM بكفاءة على الأجهزة الاعتيادية بما فيها وحدات المعالجة المركزية ومجموعة واسعة من وحدات GPU. ريادي في صيغة نماذج GGUF والتكميم الحاد (مثل 4-بت و5-بت) الذي يتيح تشغيل النماذج الكبيرة على الأجهزة الاستهلاكية، وهو الأساس الذي تقوم عليه كثير من أدوات LLM المحلية عالية المستوى. يأتي مع CLI وخادم بـ API متوافقة مع OpenAI وارتباطات تُستخدم في أنحاء النظام البيئي.