MLC LLM

Universele LLM-deployment-engine die modellen compileert voor elk apparaat.

MLC LLM is een open-source machine-learning compilatie-engine voor het native deployen van LLM's op een breed scala aan hardware, waaronder iOS, Android, browsers (WebGPU) en CPU's/GPU's. Gebouwd op Apache TVM compileert en optimaliseert het modellen per doelplatform, en wordt geleverd met MLCEngine met een OpenAI-compatibele API voor zowel lokale als server-side serving. Het is een toonaangevend project voor het draaien van LLM's op edge- en consumer-apparaten.