KTransformers

تشغيل نماذج MoE الضخمة محليًا بتفريغ الخبراء إلى CPU و GPU.

KTransformers هو إطار مفتوح المصدر من KVCache.AI بجامعة Tsinghua لتحسين الاستنتاج المحلي للنماذج اللغوية الكبيرة، مع تركيز على تشغيل نماذج مزيج الخبراء الكبيرة جدًا على أجهزة متواضعة. يستخدم تفريغًا غير متجانس بين CPU/GPU وتحسينات على مستوى النواة لخدمة نماذج مثل DeepSeek-V3/R1 بـ GPU أو بعض GPUs للمستهلكين وذاكرة RAM للنظام، مع عرض API متوافق مع OpenAI وواجهة دردشة. اشتُهر بجعل نماذج MoE بحجم الحدود الأمامية قابلةً للتشغيل على محطة عمل واحدة.