Výběr lokálního LLM podle hardwaru [Wiki]

Tato stránka je pouze pro čtení. Můžete si pouze prohlédnout zdrojový kód, ale ne ho měnit. Zeptejte se správce, pokud si myslíte, že něco není v pořádku.
====== Výběr lokálního LLM podle hardwaru ======

//Vytvořeno: **30.7.2026** | Aktualizováno: **~~LASTMOD~~**//

[[https://github.com/signerless/llm-checker|LLM Checker]] a [[https://www.madebyagents.com/hardware/calculator|AI Hardware Calculator]] pomáhají odhadnout, které modely lze provozovat lokálně. Kalkulačka je vhodná pro rychlé plánování podle GPU a VRAM, LLM Checker pro analýzu konkrétního počítače, výběr modelu a práci s Ollama.

===== Co je při výběru modelu důležité =====

Velikost modelu sama o sobě nestačí. Pro lokální inference je potřeba zohlednit zejména:

  * dostupnou VRAM, případně sdílenou paměť u Apple Silicon;
  * kvantizaci, která výrazně ovlivňuje spotřebu paměti i kvalitu;
  * kontextové okno a paměť pro KV cache;
  * propustnost paměti, která ovlivňuje rychlost generování;
  * typ úlohy: pro chat, programování, reasoning nebo práci s obrazem mohou být vhodné jiné modely.

Výstup podobného nástroje je odhad, nikoli garance. Skutečnou použitelnost ovlivní runtime, nastavená délka kontextu, paralelní požadavky, volná paměť a konkrétní verze modelu.

===== AI Hardware Calculator =====

[[https://www.madebyagents.com/hardware/calculator|AI Hardware Calculator od Made By Agents]] je webový nástroj pro předběžné posouzení hardwaru. Lze vybrat nebo ručně zadat GPU, typ modelu, jeho velikost, kvantizaci a architekturu Dense nebo MoE.

Kalkulačka podle své dokumentace počítá požadovanou paměť z vah modelu, KV cache a pevné runtime režie. Z propustnosti paměti GPU potom odhaduje rychlost v tokenech za sekundu a doporučí nejkvalitnější kvantizaci, která se vejde do dostupné paměti. Výpočty probíhají v prohlížeči; automatická detekce využívá WebGPU a lze ji nahradit ručním výběrem přesného hardwaru.

Hodí se hlavně pro tyto situace:

  * výběr GPU nebo pracovní stanice před nákupem;
  * rychlé porovnání, zda má pro danou VRAM smysl 7B, 32B nebo 70B model;
  * orientační porovnání kompromisu mezi velikostí modelu a kvantizací;
  * rozhodnutí, zda zvažovat lokální běh, pronájem GPU nebo API.

Jeho omezením je nutně zjednodušený model výkonu. Odhad rychlosti nenahrazuje benchmark na konkrétním runtime a údaje z automatické detekce GPU mohou být nepřesné, zejména u integrované nebo notebookové grafiky.

===== LLM Checker =====

[[https://github.com/signerless/llm-checker|LLM Checker]] je CLI nástroj pro Node.js. Zjistí CPU, GPU, RAM a podporovaný backend a nad katalogem modelů vytváří doporučení pro konkrétní použití. Podporuje mimo jiné modelový katalog Ollama a přes vícezdrojový registr také konkrétní artefakty z Hugging Face, Ollama a GPT4All.

Základní postup je:

<code bash>
npm install -g llm-checker
llm-checker hw-detect
llm-checker recommend --category coding
</code>

Přesně tento stručný postup ukazuje i [[https://x.com/akshay_pachaar/status/2061425046737084546|příspěvek Akshaye Pachaara na X]]. Pro již používaný lokální stroj je praktičtější než obecná kalkulačka, protože pracuje s jeho zjištěnou konfigurací.

Nástroj porovnává kandidáty podle čtyř hledisek: kvality, rychlosti, míry zaplnění paměti a kontextu. Výstup může obsahovat i příkaz pro stažení modelu. Integrace s Ollama dále umožňuje porovnat nainstalované modely, spustit prompt s měřením rychlosti v tokenech za sekundu nebo vytvořit kapacitní plán pro běh modelů.

===== Doporučený postup =====

Pro výběr nového hardwaru je vhodné začít kalkulačkou. Pomůže zúžit požadavky na VRAM a ukázat, jaký rozsah modelů je realistický. Po zprovoznění počítače je potřeba doporučení ověřit pomocí LLM Checkeru a nakonec konkrétní model skutečně spustit a změřit.

Pro praktické použití stačí tento postup:

  - V kalkulačce vybrat zamýšlený typ modelu, velikost a hardware.
  - Vybrat takovou konfiguraci, která má rezervu vedle samotných vah modelu.
  - Na hotovém stroji spustit ''llm-checker hw-detect'' a doporučení pro konkrétní typ úlohy.
  - Stáhnout vybraný model v Ollama a změřit rychlost i reálnou spotřebu paměti na vlastních promptech.
  - Pokud výkon nebo kontext nestačí, upravit kvantizaci, velikost modelu nebo hardware.

===== Kdy použít který nástroj =====

^ Potřeba ^ Vhodný nástroj ^
| Návrh sestavy nebo nákupu GPU | AI Hardware Calculator |
| Rychlý odhad modelů pro zadanou VRAM | AI Hardware Calculator |
| Analýza aktuálního počítače | LLM Checker |
| Doporučení modelu pro coding nebo reasoning | LLM Checker |
| Výběr, stažení a porovnání lokálních modelů v Ollama | LLM Checker |
| Ověření skutečné rychlosti | LLM Checker a reálný benchmark |

===== Zdroje =====

  * [[https://github.com/signerless/llm-checker|LLM Checker – GitHub repository a dokumentace]]
  * [[https://x.com/akshay_pachaar/status/2061425046737084546|Akshay Pachaar – ukázka základního workflow LLM Checkeru]]
  * [[https://www.madebyagents.com/hardware/calculator|Made By Agents – AI Hardware Calculator]]