TECHSY.communityby techsy.io
Registrieren
Alle Open Source
Open SourceLokal34k

LocalAI

Drop-in OpenAI-kompatibler API-Server, der Modelle auf eigener Hardware betreibt.

LocalAI ist ein Open-Source-Self-Hosted-Inferenzserver, der eine drop-in OpenAI-kompatible API fĂŒr den lokalen Betrieb von Modellen bereitstellt. Er unterstĂŒtzt mehrere Backends (darunter llama.cpp, Whisper und Diffusionsmodelle), sodass ein einziger Endpunkt Textgenerierung, Embeddings, Audio-Transkription und Bildgenerierung ohne externe Cloud-Dienste bedienen kann. Er lĂ€uft auf Consumer-Hardware und wird als einzelne Binary oder Container verteilt.

Repo ansehen

Repository

mudler/LocalAI

Sprache

Go

Was du damit bauen kannst

  • Ersetzen von OpenAI-API-Aufrufen durch einen selbst gehosteten, OpenAI-kompatiblen Endpunkt fĂŒr Datenschutz oder Kostenkontrolle
  • Betreiben mehrerer ModalitĂ€ten (Chat, Embeddings, Speech-to-Text, Bildgenerierung) hinter einer lokalen API
  • Deployment lokaler Inferenz in Air-Gapped- oder On-Premises-Umgebungen via Docker

Tags

self-hostedopenai-compatiblelocal