Aphrodite Engine

Høygjennomstrømnings-LLM-inferensmotor for storskala serving.

Aphrodite Engine er den åpen kildekode-inferensbakenden utviklet av PygmalionAI for serving av LLM-er i stor skala. Bygget på vLLM-kjernen med PagedAttention og kontinuerlig batching legger den til bred kvanterstøtte, mange samplingsmetoder og spekulativ dekoding, og eksponerer en OpenAI-kompatibel API. Den er utformet for å maksimere gjennomstrømning ved serving til mange samtidige brukere fra ett enkelt endepunkt.