Rozdíly

Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.

--- ai:modely:llama [11.04.2026 13:14] – [Llama] Petr Nosek
+++ ai:modely:llama [18.04.2026 13:10] (aktuální) – Doplnění inline odkazu na GitHub Ollamy Petr Nosek
@@ Řádek 1: / Řádek 1: @@
 ====== Llama ======
+[[https://github.com/ggerganov/llama.cpp|llama.cpp]] je lehký runtime pro lokální běh jazykových modelů a v praxi se kolem něj často řeší i širší téma provozu menších LLM na vlastním hardware. Na této stránce dávají obě vložená videa smysl hlavně jako praktický přehled toho, co jde rozběhat na Raspberry Pi pomocí ''llama.cpp'', [[https://ollama.com/|Ollamy]] a modelů stažených z [[https://huggingface.co/|Hugging Face]].
+===== llama.cpp na Raspberry Pi =====
-===== Lama v malině aneb Provozujeme vlastního AI Chatbota na RaspberryPi =====
+Video [[https://www.youtube.com/watch?v=owISFhYKByQ|Lama v malině aneb Provozujeme vlastního AI Chatbota na RaspberryPi]] ukazuje, že i Raspberry Pi lze použít pro lokální běh menších modelů, pokud se počítá s omezeným výkonem a s kvantizací modelu.
-Hodně vysvětlující přednáška:
 {{youtube>owISFhYKByQ?}}
-Projekt Llama je dostupný na [[https://github.com/ggerganov/llama.cpp|Githubu]]. Lze si ho zkompilovat na Raspberry. Lama.cpp je runtime a musíme si najít model, který budeme používat.
+Hlavní praktické poznatky z videa:
-AI modely lze najít na [[https://huggingface.co/|Huggingface.co]] - je to něco jako Github pro strojové učení. Je to místo, kde stáhnu předtrénovaný model své volby. Jsou tam desítky tisíc modelů.
+  * ''llama.cpp'' dává smysl tam, kde je potřeba jednoduchý a úsporný runtime bez zbytečné režie.
+  * Kritická je velikost modelu v RAM. Na Raspberry Pi je potřeba počítat s kvantizací a s tím, že větší modely budou narážet na paměť i rychlost.
+  * Ve videu se řeší kompilace přes ''make'', převod modelu do formátu použitelného pro ''llama.cpp'' a následná kvantizace.
+  * Důležitá je práce se system promptem a s parametry jako ''temperature'', velikost kontextu nebo limit generovaných tokenů.
+  * Zajímavá je možnost vynutit strukturovaný výstup, například validní JSON nebo jiný formální formát.
+Co z toho plyne v praxi:
-===== ollama =====
+  * Na Raspberry Pi to dává smysl spíš pro experimenty, výuku, jednoduché specializované chatboty a offline použití.
+  * Čeština je pro malé lokální modely výrazně horší než angličtina. Je potřeba čekat nižší kvalitu odpovědí a víc chyb.
+  * Důležité je chlazení. Dlouhý běh modelu zatěžuje CPU natolik, že bez chladiče nebo aktivního větrání rychle narazí na teplotní limity.
+===== Ollama na Raspberry Pi =====
+Druhé video [[https://www.youtube.com/watch?v=g9_0m7RBrfs|Vlastní AI na Raspberry Pi - návod]] je praktičtější návod na rychlé rozběhání lokální AI pomocí Ollamy a malého modelu TinyLlama. Zdrojové kódy Ollamy jsou dostupné na [[https://github.com/ollama/ollama|GitHubu]].
 {{youtube>g9_0m7RBrfs?}}
-Instaluje se z tohoto zdroje: https://ollama.com/
+Ve videu dává smysl hlavně tento minimální postup:
+<code bash>
+curl -fsSL https://ollama.com/install.sh | sh
+ollama run tinyllama
+ollama run tinyllama --verbose
+</code>
+Praktické poznatky z videa:
+  * ''Ollama'' je pohodlnější cesta než ruční práce s ''llama.cpp'', pokud je cílem model hlavně rychle rozběhat a zkoušet.
+  * Na Raspberry Pi dává smysl zkoušet opravdu malé modely. Ve videu se pracuje s [[https://ollama.com/library/tinyllama|TinyLlama]].
+  * Přepínač ''--verbose'' se hodí pro kontrolu rychlosti generování a počtu tokenů.
+  * Pro sledování vytížení je praktické mít vedle otevřené ''htop''.
+  * Pro technické dotazy a jednoduché pomocné úkoly může malý lokální model stačit, ale je potřeba počítat s halucinacemi a s horší kvalitou v češtině.
+===== Kdy dává lokální model na Raspberry Pi smysl =====
+Z obou videí vychází podobný závěr:
+  * dává smysl, pokud je priorita soukromí a data nemají odcházet do cloudu
+  * hodí se pro domácí experimenty, výuku, testování promptů a jednoduché offline asistenty
+  * je použitelné pro úzké technické úkoly, kde nevadí menší znalost modelu a pomalejší odpověď
+  * není to dobrá cesta pro větší modely nebo pro práci, kde je potřeba vysoká přesnost a rychlost
+Pokud je cílem jen rychle lokálně zkusit malý model, je jednodušší začít přes Ollamu. Pokud je cílem pochopit, jak běh modelu funguje pod kapotou, dává větší smysl ''llama.cpp''.
+===== Limity a poznámky =====
-Na RPI dává smysl vyzkoušet model [[https://ollama.com/library/tinyllama|tinyllama]].
+  * Raspberry Pi je pro LLM hraniční hardware. Největší limity jsou RAM, výkon CPU a chlazení.
+  * U větších modelů než TinyLlama nebo jiných malých variant už bude odezva na Raspberry Pi velmi pomalá.
+  * Pro běžné praktické použití dává často větší smysl lokální běh na běžném PC nebo notebooku; ve videu je jako další varianta zmíněné i WSL.
+  * Lokální model není z principu pravdivější jen proto, že běží doma. Pořád je potřeba kontrolovat výstup.
+===== Přednášky z OpenAlt 2025 =====
-==== Přednášky z OpenAlt 2025 ====
+Pro další studium lokální AI je užitečný [[https://www.youtube.com/playlist?list=PLOEQDQruWfhwEmYy7BajapPd6Qj3X0UC7|playlist přednášek z OpenAlt 2025]] a [[https://www.openalt.cz/2025/program/|program OpenAlt 2025]]. K této stránce se vztahují hlavně přednáška [[https://talks.openalt.cz/openalt-2025/talk/NLRQDF/|Lama v malině]] a přednáška [[https://talks.openalt.cz/openalt-2025/talk/K8X3AA/|Vlastní AI na Raspberry Pi]]. Praktický doplněk je i [[https://github.com/dolmoch/local-ai-workshop/blob/master/dialogue.sh|ukázkový skript dialogue.sh]].
-Přednášky a odkazy z OpenAlt 2025 na rozjetí AI lokálně:
+===== Zdroje =====
-  * https://www.youtube.com/playlist?list=PLOEQDQruWfhwEmYy7BajapPd6Qj3X0UC7
+  * [[https://github.com/ggerganov/llama.cpp|llama.cpp]]
-  * https://www.openalt.cz/2025/program/
+  * [[https://huggingface.co/|Hugging Face]]
-  * https://talks.openalt.cz/openalt-2025/talk/NLRQDF/
+  * [[https://ollama.com/|Ollama]]
-  * https://github.com/dolmoch/local-ai-workshop/blob/master/dialogue.sh
+  * [[https://ollama.com/library/tinyllama|TinyLlama v knihovně Ollamy]]
-  * https://talks.openalt.cz/openalt-2025/talk/K8X3AA/
+  * [[https://www.youtube.com/watch?v=owISFhYKByQ|Lama v malině aneb Provozujeme vlastního AI Chatbota na RaspberryPi]]
-  * https://github.com/ollama/ollama
+  * [[https://www.youtube.com/watch?v=g9_0m7RBrfs|Vlastní AI na Raspberry Pi - návod]]
+  * [[https://www.youtube.com/playlist?list=PLOEQDQruWfhwEmYy7BajapPd6Qj3X0UC7|OpenAlt 2025 – playlist přednášek]]
+  * [[https://www.openalt.cz/2025/program/|OpenAlt 2025 – program]]
+  * [[https://talks.openalt.cz/openalt-2025/talk/NLRQDF/|OpenAlt 2025 – Lama v malině]]
+  * [[https://github.com/dolmoch/local-ai-workshop/blob/master/dialogue.sh|local-ai-workshop – dialogue.sh]]
+  * [[https://talks.openalt.cz/openalt-2025/talk/K8X3AA/|OpenAlt 2025 – Vlastní AI na Raspberry Pi]]
+  * [[https://github.com/ollama/ollama|Ollama na GitHubu]]