Wiki · Funkce do hloubky
Lokální modely
Model, který běží na vašem počítači: zdarma, bez odesílání dat a pomalejší. Kdy se vyplatí, co potřebuje a na co si dát pozor.
Kdy se to vyplatí a kdy ne
| Vyplatí se | Nevyplatí se |
|---|---|
| Data nesmí opustit váš počítač (smlouvy, zdravotní zprávy, interní kód) | Složitá mnohakroková práce, kde musí agent spolehlivě používat nástroje |
| Práce bez internetu nebo na cestě | Dlouhé rozhovory a dlouhé dokumenty |
| Opakované jednoduché úlohy: shrnutí, překlad, vytěžení údajů z textu, psaní konceptů | Rychlost — když potřebujete odpověď hned |
| Chcete si to vyzkoušet, než začnete platit | Nejvyšší kvalita u složitých úvah |
Nejjednodušší cesta: v aplikaci
Otevřete Nastavení → Poskytovatelé → Lokální modely (nabídne se to i při prvním spuštění jako „Spouštět modely lokálně").
Klikněte na Nainstalovat běhové prostředí. Stáhne se oficiální běhové prostředí pro váš hardware (pár set megabajtů), ověří se a bude se udržovat aktuální.
Vyberte model z katalogu a klikněte na Stáhnout. U každého modelu předem vidíte, zda se vejde do paměti vaší karty (zelená), poběží přes operační paměť (oranžová), nebo je na váš stroj velký (červená).
Klikněte na Použít. Nové rozhovory běží na lokálním modelu. Návrat k modelu v cloudu je jedno kliknutí ve výběru modelu.
Stahování se dá pozastavit a zase pustit — i po zavření aplikace zůstane rozdělané. Velké modely mají desítky gigabajtů, takže to na pomalém připojení chvíli trvá.
Když používáte Ollamu nebo vlastní server
Když už na počítači běží server (Ollama, vlastní llama-server, MLX), Hermes si ho najde a použije místo vlastního. Dá se to i nastavit ručně — stačí uvést adresu serveru:
Volitelně se dá zapnout i spravované běhové prostředí a určit, na kterých portech se má hledat:
Když server neběží, chyba to řekne přímo („lokální server modelu neběží") — nemusíte luštit hlášky o chybějícím klíči.
Co to potřebuje
| Stroj | Co se použije |
|---|---|
| NVIDIA (Windows i Linux) | CUDA (na Linuxu s čipem ARM potřeba ovladač CUDA 13) |
| AMD a Intel | Vulkan; na vybraných strojích i HIP/ROCm |
| Mac | Metal |
| Bez karty | Procesor — funguje, ale pomalu |
| Paměť karty | Co se na ni vejde |
|---|---|
| 8 GB a více | Menší modely z katalogu pohodlně |
| 16 GB a více | Modely velikosti 27–35 miliard parametrů v dobré kvalitě |
Jak se Hermes stará o paměť
| Co dělá | Co to znamená pro vás |
|---|---|
| Začne s oknem, které se vejde do karty, a postupně ho zvětšuje | V přehledu se objeví „okno kontextu narostlo" — to je správně, není to chyba |
| Doporučený model má vždy aspoň 64 tisíc znaků kontextu | Udrží se rozumně dlouhý rozhovor |
| Co se nevejde do karty, umístí do operační paměti tak, aby to bolelo co nejméně | Pomalejší odpovědi, ale rozhovor nespadne |
| Počítá i s režijní pamětí (kontext, buffery, obrázkový adaptér) | Do karty se vejde méně, než kolik má soubor modelu — s tím Hermes počítá za vás |
| Když se okno zvětšit nedá, rozhovor se zkrátí | Místo tichého spadnutí se starší část rozhovoru shrne |
Další modely a vlastní soubory
| Kde | Co tam je |
|---|---|
| Katalog v aplikaci | Vybrané modely s ověřením, že fungují |
| Vyhledávání na Hugging Face | Mnohem širší nabídka; u každého výsledku je vidět, zda se vejde do vaší karty. Ověření od nás ale nemá |
Vlastní soubor .gguf | Dá se přidat do knihovny bez kopírování — soubor zůstane, kde je |
Cena: doma versus v cloudu
| Lokálně | Cloud (poskytovatel modelu) | |
|---|---|---|
| Platba za dotazy | žádná | podle počtu znaků |
| Vstupní náklad | grafická karta a elektřina | žádný |
| Odesílání dat | nic neodchází | text jde k poskytovateli |
| Rychlost a kvalita | nižší | vyšší |
| Limity použití | žádné | podle tarifu, občas zpomalení ve špičce |
Pasti z našeho provozu
| Co se stalo | Co s tím |
|---|---|
| Agent běžel na serveru bez grafické karty | Model poběží na procesoru, ale tak pomalu, že se to nedá používat. Lokální model patří na počítač s kartou, ne na server |
| Malý model nezvládl nástroje | Nepoužil je, nebo si vymyslel výsledek. Na práci s nástroji (soubory, příkazy, weby) berte větší model nebo cloud |
| Model se do karty nevešel, i když soubor byl menší | Do paměti patří i kontext a režijní buffery. Řiďte se barvou v katalogu, ne velikostí souboru |
| Stahování velkého modelu zablokovalo připojení na celý den | Použijte pozastavení a stahujte mimo pracovní dobu; stahuje se i obrázkový adaptér a další soubory |
| Do paměti se nevešel delší rozhovor | To je normální — Hermes rozhovor radši zkrátí, než aby spadl. Když to vadí, zvolte menší model, nebo si nechte dlouhé rozhovory v cloudu |
Naše tipy
| Tip | Proč |
|---|---|
| Začněte v aplikaci, ne v příkazové řádce | Uvidíte předem, co se do vašeho stroje vejde |
| Nechte si lokální model jako záložní cestu | Když nejde internet nebo dojdou peníze za cloud, agent pořád funguje |
| Na citlivé věci lokální model, na složité cloudový | Kombinace je nejlepší z obojího; mezi modely přepínáte jedním kliknutím |
| Než model stáhnete, všimněte si barvy u katalogu | Ušetříte desítky gigabajtů stažených zbytečně |