LocalAI

Drop-in OpenAI-kompatibelt API som kjører modeller på din egen maskinvare.

LocalAI er en åpen kildekode, selvhostet inferensserver som tilbyr et drop-in OpenAI-kompatibelt API for å kjøre modeller lokalt. Den støtter flere backends (inkludert llama.cpp, Whisper og diffusjonsmodeller) slik at ett enkelt endepunkt kan serve tekstgenerering, embeddinger, lydtranskripsjoner og bildegenerering uten eksterne skytjenester. Den kjører på forbrukermaskiner og distribueres som en enkelt binærfil eller container.