TECHSY.communityby techsy.io
Registreren
Alle open source
Open SourceLokaal100k

Ollama

Llama, Mistral und Co. mit einem Befehl lokal ausführen.

Ollama ist ein Open-Source-Tool zum lokalen Ausführen großer Sprachmodelle mit einem einzigen Befehl. Es bündelt Modellgewichte, Konfiguration und eine Laufzeitumgebung (basierend auf llama.cpp) in einer einfachen CLI und einem lokalen HTTP-Server, der Download, Quantisierungsformate und GPU-Beschleunigung unter macOS, Linux und Windows übernimmt. Es bietet eine REST API und einen OpenAI-kompatiblen Endpunkt, sodass lokale Modelle einfach aus Anwendungen aufgerufen werden können.

Bekijk repo

Opslagplaats

ollama/ollama

Taal

Go

Wat je ermee zou bouwen

  • Lokal ausführen von Open-Weight-Modellen wie Llama, Mistral oder Qwen für private, Offline-Inferenz während der Entwicklung
  • Bereitstellen eines lokalen Modells hinter einer OpenAI-kompatiblen API, damit bestehender App-Code mit minimalen Änderungen von Cloud auf lokal wechseln kann
  • Prototyping von Agenten und RAG-Pipelines gegen lokale Modelle, um API-Kosten pro Token zu vermeiden

Tags

local-llmclimodels