Marek Bartoš: Proč s AI mluvit jednoduše a kde do toho zapadá Caveman

Marek Bartoš – Po tomhle videu už nenapíšeš prompt jako dřív rozebírá, proč mají velké jazykové modely často lepší výsledky při použití běžných a krátkých slov. Na praktické rovině na to navazuje projekt Caveman, který stejnou intuici převádí do skillu pro stručnější komunikaci s AI agenty.

Hlavní teze videa je jednoduchá: pokud prompt nebo instrukce říkají totéž, ale jedna varianta používá běžnější a méně formální slovník, model má větší šanci dojít ke správnému výsledku. Ve videu je to vysvětlené přes frekvenci slov, pravděpodobnostní distribuci tokenů a vyšší jistotu modelu u často vídaných formulací. Caveman na to nenavazuje jeden k jednomu, ale jde podobným směrem: odřezává vatu, zkracuje výstupy a snaží se držet technický obsah při co nejnižším počtu tokenů.

Video opakuje několik praktických tvrzení:

• Běžná slova jsou pro model „vyšlapanější cesta„ než vzácný nebo příliš formální slovník.
• Model může vzácná slova znát a správně je chápat, ale při delším řetězci úvah se na nich snáz „rozbije“ logika.
• Zjednodušení slovníku podle autora pomáhá nejen v překladu, ale i v matematickém uvažování, tool-callingu a obecném řešení problémů.
• Praktický závěr je nekomplikovat prompty zbytečným žargonem a místo toho psát krátce, přímo a běžným jazykem.

Ve videu je také zmíněný překladový experiment do srbštiny, práce s NLL loss, princip pojmenovaný jako „Adamův zákon“, metoda TFT (Textual Frequency Distillation) a návrh tréninkového postupu CTFT. Tyto části v transkriptu zaznívají, ale video v samotném přepisu neobsahuje přesné bibliografické odkazy ke všem těmto pojmům.

V repo Caveman je přímo odkaz na paper Brevity Constraints Reverse Performance Hierarchies in Language Models. Ten skutečně tvrdí, že u části benchmarků vedlo omezení modelů na stručné odpovědi ke zlepšení přesnosti o 26 procentních bodů a v některých úlohách obrátilo pořadí výkonu mezi malými a velkými modely.

Důležitý detail je, že tento paper řeší primárně stručnost odpovědi, ne úplně totéž co video, které mluví hlavně o jednoduchosti vstupního jazyka. Obě věci spolu souvisejí, ale nejsou to totožné hypotézy.

• nárůst přesnosti u benchmarků po zjednodušení slovníku,
• překladový experiment se zjednodušenou formulací,
• vysvětlení přes NLL loss a preferenci vysokofrekvenčních slov,
• pojmy TFT a CTFT.

Tyto body dávají v kontextu videa smysl, ale pro serióznější použití v dokumentaci nebo ve firemních doporučeních by stálo za to dohledat původní paper nebo prezentaci, ze které Marek Bartoš čerpá.

Z videa i z navazujících materiálů dává smysl držet se těchto pravidel:

• Pokud jde něco říct jednodušeji bez ztráty významu, je lepší zvolit jednodušší variantu.
• Krátké věty a přímé instrukce bývají lepší než formální omáčka.
• Pokud model selhává v reasoning úloze, má smysl nejdřív zjednodušit jazyk zadání a teprve potom přidávat další vrstvy instrukcí.
• Jednoduchý jazyk neznamená vágní jazyk. Pořád je potřeba říct, co má být výstup, formát a omezení.

Příklad rozdílu:

Mohl bys analyzovat, proč dochází k opakovanému renderování této React komponenty?

React komponenta se renderuje pořád dokola. Najdi proč a navrhni opravu.

Caveman není akademická demonstrace stejné teorie, ale praktický skill a sada pluginů, které jdou po podobném efektu z jiné strany.

Repo je zajímavé hlavně tím, že z jednoduché intuice dělá konkrétní workflow:

• režimy lite, full a ultra pro různé úrovně stručnosti,
• příkazy pro stručné commity a code review,
• nástroj caveman-compress pro zkracování kontextových souborů typu 'CLAUDE.md',
• instalace pro víc agentních prostředí.

Tady jsou dva nejpraktičtější instalační příklady z README:

claude plugin marketplace add JuliusBrussee/caveman
claude plugin install caveman@caveman

npx skills add JuliusBrussee/caveman

Pokud se AI používá na běžnou práci, dává smysl oddělit dvě věci:

1. Na vstupu používat obyčejný jazyk, krátké věty a nepřekombinované instrukce.
2. Na výstupu si podle potřeby vynutit stručnost, pokud je cílem rychlost, menší cena a menší objem textu.

To se dobře doplňuje. Jednodušší prompt může pomoct modelu lépe přemýšlet a stručnější výstup může zrychlit práci člověka i dalšího agenta v řetězci.

• Ne každý odborný termín má smysl nahrazovat „jednodušším“ slovem. Když je přesný pojem důležitý, je lepší zachovat přesnost než slovník uměle zplošťovat.
• Paper o brevity constraints nepokrývá automaticky všechny závěry z videa. Podporuje stručnost, ale není to přímý důkaz pro každé tvrzení o jednoduchém promptingu.
• Úspory tokenů a benchmarky z README projektu Caveman jsou tvrzení maintainera repo. Pro vlastní produkční rozhodnutí je lepší si je přeměřit na vlastních úlohách.
• Ve videu je i rozumná obava, že dlouhodobé přizpůsobování jazyka strojům může vést ke zplošťování vlastního vyjadřování. Pro promptování je to užitečná technika, ale není nutné ji přenášet do všeho ostatního.

• Marek Bartoš – Po tomhle videu už nenapíšeš prompt jako dřív
• JuliusBrussee/caveman
• Brevity Constraints Reverse Performance Hierarchies in Language Models