Video DeepSeek R1 lokálně na RaspberryPi ukazuje, co je reasoning model DeepSeek R1, v čem se liší od běžných chat modelů a jak ho rozběhnout lokálně i na Raspberry Pi 4. Hlavní pointa je, že destilované verze modelu lze provozovat bez cloudu, ale za cenu nižší rychlosti.
Video vysvětluje rozdíl mezi běžným LLM, který často vrátí první pravděpodobnou odpověď, a reasoning modelem, který si nejdřív rozepíše postup řešení a teprve potom vrátí výsledek. DeepSeek R1 je ve videu představený jako levnější a otevřenější alternativa k OpenAI o1, hlavně pro úlohy, kde je potřeba vícekrokové uvažování.
Ve videu jsou dvě jednoduché ukázky:
Hlavní zajímavost je, že model během „thinking“ fáze průběžně kontroluje vlastní mezivýsledky. Ve videu je vidět i situace, kdy si model všimne chyby ve svém průběžném postupu a výpočet opraví.
Praktická část videa je zaměřená na spuštění DeepSeek R1 lokálně:
Ve videu je pro Raspberry Pi použitá nejmenší destilovaná verze modelu. Na výkonnějším PC dává podle videa větší smysl 7B nebo 8B varianta, protože nabídne lepší kompromis mezi kvalitou a rychlostí.
Video zdůrazňuje hlavně tyto body:
Současně ale ve videu zaznívá, že i když je model open-source, trénovací data veřejná nejsou. To znamená, že není možné snadno zkontrolovat původ dat ani případné biasy.
Lokální provoz má i nevýhody:
Ve videu je také vidět, že i reasoning model může udělat chybu v průběžném postupu, ale častěji si ji sám odhalí a opraví.