مفتوح المصدراستدلال11k
Text Generation Inference
مجموعة أدوات Hugging Face للإنتاج لتقديم ونشر نماذج LLM.
Text Generation Inference (TGI) مجموعة أدوات Hugging Face للإنتاج لنشر وتقديم نماذج LLM. توفر استدلالًا محسّنًا بميزات مثل التوازي الموتري والدفع المستمر والبث التدفقي للرموز والتكميم، وتتكامل بشكل وثيق مع منظومة نماذج Hugging Face. تُشغّل الاستدلال المستضاف على Hugging Face وقابلة للنشر عبر حاوية للاستضافة الذاتية.
المستودع
huggingface/text-generation-inferenceاللغة
Pythonما الذي يمكنك بناؤه به
- استضافة نماذج Hugging Face Hub ذاتيًا كنقطة نهاية استدلال للإنتاج مع البث والدفع
- نشر تقديم LLM محسّن بالتوازي الموتري والتكميم على بنية GPU
- إقامة API توليد نصوص قابلة للتوسع للتطبيقات باستخدام منظومة HF
الوسوم
servinghuggingfaceproduction