Triton Inference Server

NVIDIAs Produktionsserver für jedes Framework, jedes Modell, jede Hardware.

Triton Inference Server ist NVIDIAs Open-Source-Inferenz-Serving-Plattform für das Deployen von Modellen aus beliebigen Frameworks (TensorRT, PyTorch, TensorFlow, ONNX, Python und weitere) auf GPUs oder CPUs. Er unterstützt parallele Modellausführung, dynamisches Batching, Modell-Ensembles und stellt HTTP/gRPC-Endpunkte mit integrierten Metriken bereit. Er wird verbreitet als Produktions-Serving-Layer für LLMs (über das TensorRT-LLM-Backend) und klassische ML-Modelle gleichermaßen eingesetzt.