MLC LLM

Motore universale di deployment LLM che compila i modelli per qualsiasi dispositivo.

MLC LLM è un motore open-source di compilazione machine learning per il deployment nativo di LLM su un'ampia gamma di hardware, inclusi iOS, Android, browser (WebGPU) e CPU/GPU. Basato su Apache TVM, compila e ottimizza i modelli per ogni target e include MLCEngine con un'API compatibile con OpenAI per il serving sia locale che server-side. È uno dei progetti di riferimento per eseguire LLM su dispositivi edge e consumer.