MLC LLM

Universelle LLM-Deployment-Engine, die Modelle für jedes Gerät kompiliert.

MLC LLM ist eine Open-Source-Machine-Learning-Kompilierungs-Engine für das native Deployment von LLMs auf einer Vielzahl von Hardware, darunter iOS, Android, Browser (WebGPU) sowie CPUs und GPUs. Aufgebaut auf Apache TVM kompiliert und optimiert es Modelle pro Zielplattform und liefert die MLCEngine mit einer OpenAI-kompatiblen API für lokales und serverseitiges Serving. Es ist ein führendes Projekt zum Betrieb von LLMs auf Edge- und Consumer-Geräten.