TensorRT-LLM

مكتبة NVIDIA لتحسين LLMs وخدمتها على وحدات معالجة الرسوميات الخاصة بها.

TensorRT-LLM هي مكتبة NVIDIA مفتوحة المصدر لتجميع وتشغيل استدلال LLM المُحسَّن على وحدات معالجة الرسوميات NVIDIA. توفر Python API لتعريف وبناء محركات TensorRT مُضبَطة بشدة مع ميزات كالمعالجة الدفعية أثناء الطيران وتخزين KV المُقسَّم إلى صفحات وكميّة FP8/INT4 والتوازي الموتري/التدفقي. تتزاوج مع خلفية Triton Inference Server لتقديم أدنى زمن استجابة لـ LLM على أجهزة NVIDIA.