Aphrodite Engine

Motor de inferencia LLM de alto rendimiento para servicio a gran escala.

Aphrodite Engine es el backend de inferencia de código abierto desarrollado por PygmalionAI para servir LLMs a escala. Construido sobre el núcleo de vLLM con PagedAttention y procesamiento por lotes continuo, añade soporte amplio de cuantización, múltiples métodos de muestreo y decodificación especulativa, exponiendo una API compatible con OpenAI. Está diseñado para maximizar el rendimiento al servir a muchos usuarios concurrentes desde un único endpoint.