MLC LLM

Motor universal de despliegue de LLMs que compila modelos para cualquier dispositivo.

MLC LLM es un motor de compilación de machine learning de código abierto para desplegar LLMs de forma nativa en una amplia variedad de hardware, incluidos iOS, Android, navegadores (WebGPU) y CPUs/GPUs. Construido sobre Apache TVM, compila y optimiza modelos por destino, e incluye MLCEngine con una API compatible con OpenAI para servicio local y en servidor. Es un proyecto referente para ejecutar LLMs en dispositivos edge y de consumo.