LMDeploy

LLM'leri TurboMind motoru ile sıkıştırıp sunmak için araç seti.

LMDeploy, InternLM ekibinden büyük dil ve görsel-dil modellerini sıkıştırmak, nicelemek ve sunmak için geliştirilmiş açık kaynaklı bir araç setidir. Yüksek performanslı TurboMind çıkarım motoru; kalıcı toplu işleme, blok tabanlı KV önbelleği ve yalnızca ağırlık/KV niclemesi ile yüksek verim sağlar; ayrıca OpenAI uyumlu bir sunucu ile birlikte gelir. Geniş bir model ailesi yelpazesini destekleyen bu araç, verimli kendi kendine barındırılan LLM sunumu için popüler bir tercihtir.