Aphrodite Engine

Höggenomströmnings-LLM-inferensmotor för storskalig serving.

Aphrodite Engine är den open source-inferensbakgrund som utvecklats av PygmalionAI för storskalig LLM-serving. Byggt på vLLM-kärnan med PagedAttention och kontinuerlig batchning tillägger den brett stöd för kvantiering, många samplingmetoder och spekulativ avkodning, och exponerar ett OpenAI-kompatibelt API. Det är utformat för att maximera genomströmning vid serving av många samtidiga användare från en enda endpoint.