MLC LLM

Universell LLM-driftsättningsmotor som kompilerar modeller för vilken enhet som helst.

MLC LLM är en open source-kompileringsmotor för maskininlärning för att driftsätta LLMs native på ett brett spektrum av hårdvara, inklusive iOS, Android, webbläsare (WebGPU) och CPU:er/GPU:er. Byggt på Apache TVM kompilerar och optimerar det modeller per mål, och levereras med MLCEngine med ett OpenAI-kompatibelt API för både lokal och serverbaserad serving. Det är ett ledande projekt för att köra LLMs på kant- och konsumentenheter.