MLC LLM

Moteur de déploiement LLM universel qui compile les modèles pour n'importe quel appareil.

MLC LLM est un moteur de compilation machine learning open source pour déployer des LLM nativement sur une large gamme de matériels, notamment iOS, Android, navigateurs (WebGPU) et CPU/GPU. Construit sur Apache TVM, il compile et optimise les modèles par cible, et embarque MLCEngine avec une API compatible OpenAI pour le serving local et côté serveur. C'est un projet de référence pour exécuter des LLM sur des appareils edge et grand public.