Aphrodite Engine

Büyük ölçekli sunumu destekleyen yüksek verimli LLM çıkarım motoru.

Aphrodite Engine, PygmalionAI tarafından LLM'leri ölçekli biçimde sunmak için geliştirilen açık kaynaklı çıkarım arka ucudur. PagedAttention ve sürekli toplu işleme içeren vLLM çekirdeği üzerine inşa edilen bu motor, geniş niclem desteği, çok sayıda örnekleme yöntemi ve spekülatif kod çözme ekleyerek OpenAI uyumlu API sunar. Tek bir endpoint'ten çok sayıda eş zamanlı kullanıcıya maksimum verimle hizmet verecek şekilde tasarlanmıştır.