Aphrodite Engine

Hoge-doorvoer LLM-inferentie-engine voor grootschalige serving.

Aphrodite Engine is de open-source inferentie-backend ontwikkeld door PygmalionAI voor het op schaal serveren van LLM's. Gebouwd op de vLLM-kern met PagedAttention en continuous batching voegt het uitgebreide kwantisatieondersteuning, veel samplingmethoden en speculatieve decodering toe, met een OpenAI-compatibele API. Het is ontworpen om de doorvoer te maximaliseren bij het gelijktijdig bedienen van veel gebruikers vanuit één endpoint.