LocalAI

Modelleri kendi donanımınızda çalıştıran, doğrudan OpenAI uyumlu API.

LocalAI, yerel olarak modeller çalıştırmak için doğrudan OpenAI uyumlu bir API sağlayan açık kaynaklı, kendi kendine barındırılan bir çıkarım sunucusudur. Birden fazla backend'i (llama.cpp, Whisper ve difüzyon modelleri dahil) destekler; böylece tek bir endpoint harici bulut hizmetleri olmadan metin üretimi, embeddings, ses transkripsiyonu ve görsel üretimi sunabilir. Tüketici donanımında çalışır ve tek bir ikili dosya veya container olarak dağıtılır.