MLC LLM

محرك نشر عالمي للنماذج اللغوية الكبيرة يُترجم النماذج لأي جهاز.

MLC LLM هو محرك تجميع تعلم آلي مفتوح المصدر لنشر النماذج اللغوية الكبيرة محليًا عبر مجموعة واسعة من الأجهزة، بما يشمل iOS و Android والمتصفحات (WebGPU) ووحدات المعالجة المركزية/الرسومية. مبني على Apache TVM، يُترجم النماذج ويحسّنها لكل هدف، ويشحن MLCEngine مع API متوافق مع OpenAI لكل من الخدمة المحلية وجانب الخادم. وهو مشروع رائد لتشغيل النماذج اللغوية الكبيرة على الأجهزة الطرفية وأجهزة المستهلكين.