MLC LLM

Modelleri herhangi bir cihaza derleyen evrensel LLM deployment motoru.

MLC LLM, iOS, Android, tarayıcılar (WebGPU) ve CPU/GPU'lar dahil olmak üzere geniş bir donanım yelpazesinde LLM'leri yerel olarak deploy etmek için açık kaynaklı bir makine öğrenmesi derleme motorudur. Apache TVM üzerine inşa edilen bu motor, modelleri hedefe göre derleyip optimize eder ve hem yerel hem de sunucu taraflı sunum için OpenAI uyumlu API'ye sahip MLCEngine'i içerir. Uç ve tüketici cihazlarda LLM çalıştırmak için önde gelen projelerden biridir.