Hermes Agent s lokálním LLM

10. července 2026 · 5 min

Hermes Agent podporuje lokální LLM modely přes Ollama — běží zdarma, offline a s plným soukromím. Na rozdíl od cloudových API neplatíte za tokeny a vaše data nikdy neopustí váš počítač.

Co je Ollama?

Ollama je nástroj pro lokální běh open-source LLM modelů (Llama, Mistral, Gemma, Qwen a další). Funguje na Linuxu, macOS i Windows (přes WSL2). Automaticky spravuje stahování modelů, GPU akceleraci a REST API.

Instalace Ollama

# Linux
$ curl -fsSL https://ollama.com/install.sh | sh

# macOS
$ brew install ollama

# Windows — přes WSL2 (viz náš článek o WSL2)
$ wsl --install  # pokud ještě nemáte
$ curl -fsSL https://ollama.com/install.sh | sh

Stažení modelu

Po instalaci stáhněte model. Doporučujeme Llama 3.1 8B pro univerzální použití:

$ ollama pull llama3.1
# Další doporučené modely:
$ ollama pull mistral       # 7B, rychlý, dobrý na kód
$ ollama pull gemma2        # 9B, výborná čeština
$ ollama pull qwen2.5:7b    # 7B, nejlepší na technické úkoly

Hardwarové požadavky

Model	Min. RAM	Doporučeno	GPU
Llama 3.1 8B	8 GB	16 GB	6+ GB VRAM
Mistral 7B	6 GB	12 GB	4+ GB VRAM
Gemma 2 9B	10 GB	16 GB	8+ GB VRAM
Qwen 2.5 7B	6 GB	12 GB	4+ GB VRAM

Konfigurace v Hermes Agent

$ hermes model
→ Vyberte: "Custom OpenAI-compatible endpoint"
→ Base URL: http://localhost:11434/v1
→ API Key: ollama (Ollama nevyžaduje skutečný klíč)
→ Model: llama3.1

Nebo ručně v ~/.hermes/config.yaml:

model:
  default: llama3.1
  provider: custom
  base_url: http://localhost:11434/v1
  api_key: ollama

Ollama jako služba (autostart)

# Povolit automatické spuštění po startu systému
$ sudo systemctl enable ollama
$ sudo systemctl start ollama

# Ověření, že Ollama běží
$ curl http://localhost:11434/api/tags

Tipy pro výkon

GPU akcelerace: Ollama automaticky použije GPU (NVIDIA CUDA, AMD ROCm, Apple Metal)
Kontextové okno: Výchozí 2048 tokenů — pro delší konverzace zvyšte přes ollama pull llama3.1; ollama run llama3.1 a pak /set parameter num_ctx 4096
Více modelů současně: Ollama zvládne běh více modelů — každý zabírá vlastní RAM
Apple Silicon: Na M1/M2/M3 využívá sdílenou paměť — 16GB MacBook Air utáhne i 13B modely

⚡ Výhody lokálního LLM: Žádné API poplatky, plné soukromí (data nikdy neopustí váš počítač), offline provoz, neomezené použití. Nevýhody: Potřebujete výkonnější hardware, modely jsou obecně slabší než GPT-4o/Claude, pomalejší odezva.

Porovnání: Lokální LLM vs Cloud API

	Lokální (Ollama)	Cloud (API)
Cena	Zdarma	5–200 $/měsíc
Soukromí	100% lokální	Data na cizím serveru
Kvalita	Dobrá (8B-70B)	Vynikající (GPT-4o, Claude)
Rychlost	Závisí na HW	Konzistentní
Offline	Ano	Ne

Řešení problémů

Ollama se nespustí

Zkontrolujte, zda služba běží: systemctl status ollama. Pokud ne, spusťte: ollama serve.

Hermes se nemůže připojit k Ollama

Ověřte, že base_url je správně: curl http://localhost:11434/v1/models. Pokud běží v Dockeru, použijte http://host.docker.internal:11434/v1.

Model je pomalý

Zkuste menší model (např. mistral místo llama3.1) nebo použijte kvantizovanou verzi: ollama pull llama3.1:8b-instruct-q4_K_M.

Užitečné odkazy

Ollama model library — všechny dostupné modely
Ollama GitHub — zdrojový kód a dokumentace
Vyhledávání modelů — najděte model pro vaše potřeby