DeepSeek
Video DeepSeek R1 lokálně na RaspberryPi ukazuje, co je reasoning model DeepSeek R1, v čem se liší od běžných chat modelů a jak ho rozběhnout lokálně i na Raspberry Pi 4. Hlavní pointa je, že destilované verze modelu lze provozovat bez cloudu, ale za cenu nižší rychlosti.
O čem video je
Video vysvětluje rozdíl mezi běžným LLM, který často vrátí první pravděpodobnou odpověď, a reasoning modelem, který si nejdřív rozepíše postup řešení a teprve potom vrátí výsledek. DeepSeek R1 je ve videu představený jako levnější a otevřenější alternativa k OpenAI o1, hlavně pro úlohy, kde je potřeba vícekrokové uvažování.
Co video ukazuje v praxi
Ve videu jsou dvě jednoduché ukázky:
- počítání písmen ve slově, kde klasické modely často chybují kvůli tomu, že neprovedou explicitní kontrolu postupu
- řešení kvadratické rovnice, kde je vidět rozpad problému na jednotlivé kroky
Hlavní zajímavost je, že model během „thinking“ fáze průběžně kontroluje vlastní mezivýsledky. Ve videu je vidět i situace, kdy si model všimne chyby ve svém průběžném postupu a výpočet opraví.
Lokální běh na Raspberry Pi
Praktická část videa je zaměřená na spuštění DeepSeek R1 lokálně:
- použitý hardware je Raspberry Pi 4 s 8 GB RAM
- jako systém je zvolený DietPi, protože má malý overhead
- pro běh modelu je použitý Ollama
- jako GUI alternativa je zmíněné LM Studio
Ve videu je pro Raspberry Pi použitá nejmenší destilovaná verze modelu. Na výkonnějším PC dává podle videa větší smysl 7B nebo 8B varianta, protože nabídne lepší kompromis mezi kvalitou a rychlostí.
Proč je DeepSeek R1 zajímavý
Video zdůrazňuje hlavně tyto body:
- reasoning model umí nad problémem déle přemýšlet a nevrací jen první odhad
- model lze provozovat lokálně, takže data nemusí odcházet do cizí cloudové služby
- API má být podle videa výrazně levnější než u OpenAI o1
- existují destilované varianty, které lze spustit i na slabším hardwaru
Současně ale ve videu zaznívá, že i když je model open-source, trénovací data veřejná nejsou. To znamená, že není možné snadno zkontrolovat původ dat ani případné biasy.
Omezení
Lokální provoz má i nevýhody:
- na Raspberry Pi je běh pomalý, ve videu jde jen o několik tokenů za sekundu
- největší varianty modelu už vyžadují velmi výkonný hardware
- pro opravdu pohodlnou práci je vhodnější PC s GPU než jednodeskový počítač
Ve videu je také vidět, že i reasoning model může udělat chybu v průběžném postupu, ale častěji si ji sám odhalí a opraví.
Petr Nosek