C贸digo abiertoLocal100k
Ollama
Ejecuta Llama, Mistral y otros modelos localmente con un solo comando.
Ollama es una herramienta de c贸digo abierto para ejecutar grandes modelos de lenguaje localmente con un 煤nico comando. Empaqueta los pesos del modelo, la configuraci贸n y un runtime (basado en llama.cpp) en una CLI sencilla y un servidor HTTP local, gestionando la descarga de modelos, los formatos de cuantizaci贸n y la aceleraci贸n GPU en macOS, Linux y Windows. Expone una API REST y un endpoint compatible con OpenAI, facilitando la invocaci贸n de modelos locales desde aplicaciones.
Repositorio
ollama/ollamaLenguaje
GoLo que construir铆as con esto
- Ejecutar modelos de pesos abiertos como Llama, Mistral o Qwen localmente para inferencia privada y sin conexi贸n durante el desarrollo
- Servir un modelo local detr谩s de una API compatible con OpenAI para que el c贸digo de la aplicaci贸n existente pueda cambiar de la nube a local con m铆nimos cambios
- Prototipar agentes y pipelines RAG contra modelos locales para evitar costes de API por token
Etiquetas
local-llmclimodels