ai:zapisy-a-workflow:inspirace-a-strategie:karpathy-llm-wiki-prubezne-budovana-znalostni-baze

Rozdíly

Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.

Odkaz na výstup diff

ai:zapisy-a-workflow:inspirace-a-strategie:karpathy-llm-wiki-prubezne-budovana-znalostni-baze [2026/04/10 22:42] – Nový článek o patternu LLM Wiki Petr Nosekai:zapisy-a-workflow:inspirace-a-strategie:karpathy-llm-wiki-prubezne-budovana-znalostni-baze [2026/04/11 20:56] (aktuální) – Zpřesnění úvodu a doplnění častých omylů kolem LLM Wiki Petr Nosek
Řádek 1: Řádek 1:
 ====== Karpathyho LLM Wiki – průběžně budovaná znalostní báze ====== ====== Karpathyho LLM Wiki – průběžně budovaná znalostní báze ======
  
-[[https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f|LLM Wiki]] je Karpathyho popis patternu, jak s pomocí LLM budovat osobní nebo týmovou knowledge base nad lokálními soubory. Nejde o hotový produkt, ale o architekturu práce, kde člověk dodává zdroje a otázky, zatímco LLM průběžně udržuje wiki jako persistentní mezivrstvu mezi raw dokumenty a dotazy. Na princip v češtině upozornil i [[https://www.marigold.cz/item/karpathy-llm-knowledgebase/|článek na Marigold.cz]].+[[https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f|LLM Wiki]] je Karpathyho popis patternu pro budování průběžně udržované knowledge base nad lokálními soubory. Častý omyl je chápat to jako odkladiště bookmarků, vendor dokumentace nebo složku, kterou stačí jednorázově nahrát do LLM a tím vznikne znalostní databáze. Ve skutečnosti ''raw'' zdroje zůstávají jen vstupem, zatímco LLM z nich postupně vytváří a udržuje wiki jako persistentní, zkompilovanou mezivrstvu mezi dokumenty a dotazy. Na princip v češtině upozornil i [[https://www.marigold.cz/item/karpathy-llm-knowledgebase/|článek na Marigold.cz]]. 
 + 
 +===== Nejčastější omyl ===== 
 + 
 +Nejdůležitější je neplést si LLM Wiki s generickým „second brain“ úložištěm na všechno. Smyslem není jen nahromadit co nejvíc souborů, ale průběžně z nich stavět provázanou znalostní vrstvu pro konkrétní doménu nebo projekt. 
 + 
 +  * ''raw/'' není hotová knowledge base, ale jen zdroj pravdy 
 +  * samotné přidání celé složky souborů ještě neznamená, že se znalost „zkompilovala" 
 +  * ''wiki/'' nemá být mechanická kopie článků, bookmarků nebo dokumentace, ale syntéza, entity, porovnání, souvislosti a rozpory 
 +  * existující wiki nebo dokumentace může být jen dalším zdrojem v ''raw/'', ne privilegovanou vrstvou architektury 
 +  * v praxi dává největší smysl držet jednu wiki pro jeden jasně vymezený okruh témat; jinak místo kumulace znalosti roste šum 
 + 
 +Jinými slovy: dokumentace k nástroji nebo odkaz na zajímavý článek se může stát vstupem, ale hodnotu získá až ve chvíli, kdy ho LLM zapracuje do existujících stránek a propojí s ostatními znalostmi v dané doméně.
  
 ===== O co jde ===== ===== O co jde =====
Řádek 8: Řádek 20:
  
 Výsledkem není jen odpověď na konkrétní dotaz, ale průběžně rostoucí znalostní vrstva. Nový zdroj neznamená pouze nový embedding nebo další soubor v indexu, ale i úpravu již existujících stránek, doplnění souvislostí a případné označení konfliktů s tím, co wiki tvrdila dřív. Výsledkem není jen odpověď na konkrétní dotaz, ale průběžně rostoucí znalostní vrstva. Nový zdroj neznamená pouze nový embedding nebo další soubor v indexu, ale i úpravu již existujících stránek, doplnění souvislostí a případné označení konfliktů s tím, co wiki tvrdila dřív.
 +
 +Když Karpathy píše, že znalost je **zkompilovaná předem**, nemyslí tím indexaci souborů pro pozdější retrieval. Myslí tím, že po ingestu už jsou relevantní wiki stránky přepsané a připravené k použití, takže se syntéza nemusí skládat znovu při každém dalším dotazu.
  
 ===== Tři vrstvy ===== ===== Tři vrstvy =====
Řádek 44: Řádek 58:
  
 Jeden nový zdroj tak může změnit více stránek najednou. To je hlavní rozdíl oproti klasickému retrievalu nad plochým archivem souborů. Jeden nový zdroj tak může změnit více stránek najednou. To je hlavní rozdíl oproti klasickému retrievalu nad plochým archivem souborů.
 +
 +Karpathy v gistu zároveň píše, že osobně preferuje ingest po jednom zdroji a zůstává u něj v loopu. To dobře ukazuje, že pointa není bezhlavý hromadný import všeho, ale průběžné kurátorství: člověk vybírá zdroje a směr, LLM dělá syntézu a údržbu.
  
 ==== Query ==== ==== Query ====
  
 Dotazy se už nevedou primárně proti raw dokumentům, ale proti wiki. LLM si z ní vytáhne relevantní stránky, propojí je a připraví odpověď. Důležitá myšlenka z gistu je, že hodnotné odpovědi je vhodné ukládat zpět do báze jako nové přehledy, porovnání nebo syntetické stránky. Dotazování tak knowledge base dále rozšiřuje. Dotazy se už nevedou primárně proti raw dokumentům, ale proti wiki. LLM si z ní vytáhne relevantní stránky, propojí je a připraví odpověď. Důležitá myšlenka z gistu je, že hodnotné odpovědi je vhodné ukládat zpět do báze jako nové přehledy, porovnání nebo syntetické stránky. Dotazování tak knowledge base dále rozšiřuje.
 +
 +Praktický důsledek je jednoduchý: pokud při dotazu vznikne dobrá syntéza, srovnání nebo nová užitečná stránka, je škoda ji nechat jen v historii chatu. Dává smysl mít workflow, kde agent takové uložení po odpovědi rovnou navrhne.
  
 ==== Lint ==== ==== Lint ====
Řádek 95: Řádek 113:
   * bez verzování a lintingu se báze časem zhorší   * bez verzování a lintingu se báze časem zhorší
   * je potřeba jasně oddělit raw zdroje, interní pracovní vrstvu a případně publikované výstupy   * je potřeba jasně oddělit raw zdroje, interní pracovní vrstvu a případně publikované výstupy
 +  * pokud se do jedné wiki míchají nesouvisející domény, rychle se zhorší struktura i kvalita syntézy
  
 Právě proto dává smysl wiki verzovat v gitu a průběžně kontrolovat diffy. U větší knowledge base se hodí i samostatná vyhledávací vrstva. Právě proto dává smysl wiki verzovat v gitu a průběžně kontrolovat diffy. U větší knowledge base se hodí i samostatná vyhledávací vrstva.
  • ai/zapisy-a-workflow/inspirace-a-strategie/karpathy-llm-wiki-prubezne-budovana-znalostni-baze.txt
  • Poslední úprava: 2026/04/11 20:56
  • autor: Petr Nosek