MLC LLM

Universell LLM-distribusjonsmotor som kompilerer modeller til hvilken som helst enhet.

MLC LLM er en åpen kildekode maskinlæringskompileringsmotor for distribusjon av LLM-er nativt på et bredt spekter av maskinvare, inkludert iOS, Android, nettlesere (WebGPU) og CPU-er/GPU-er. Bygget på Apache TVM kompilerer og optimaliserer den modeller per mål, og leveres med MLCEngine med en OpenAI-kompatibel API for både lokal og serverside-serving. Det er et ledende prosjekt for kjøring av LLM-er på kant- og forbrukerenheter.