Text Generation Inference

Hugging Face sitt produksjonsverktøy for serving og deployment av LLM-er.

Text Generation Inference (TGI) er Hugging Face sitt produksjonsklare verktøy for å deploye og serve LLM-er. Det tilbyr optimalisert inferens med funksjoner som tensor-parallellisme, kontinuerlig batching, token-streaming og kvantisering, og integreres tett med Hugging Face sitt modellØkosystem. Det driver Hugging Face sin hostede inferens og kan deployeres via container for selvhosting.