autoresearch je open-source framework od Andreje Karpathyho, který umožňuje AI agentovi autonomně provádět stovky ML experimentů přes noc. Agent opakovaně upravuje trénovací kód, spouští krátké experimenty a měří výsledky – bez zásahu člověka.
Celý cyklus je přímočarý:
program.mdtrain.py – architekturu, hyperparametry, optimizerval_bpb)
Za noc tak proběhne přibližně 100 experimentů. Člověk nastaví pravidla hry v program.md, agent dělá experimenty sám.
prepare.py – jednosměrná příprava dat. Stáhne trénovací data a natrénuje BPE tokenizer. Tento soubor člověk ani agent neupravuje.
train.py – jediný soubor, který agent edituje. Obsahuje architekturu GPT-like modelu, optimizer (Muon + AdamW) a celý trénovací loop. Agent může měnit cokoliv: hloubku modelu, batch size, attention pattern, regularizaci, scheduling.
program.md – instrukce pro agenta. Tento soubor edituje člověk – zde se nastavuje výzkumný směr, omezení a cíle experimentů.
Potřebuješ NVIDIA GPU (projekt je testovaný na H100) a Python 3.10+.
curl -LsSf https://astral.sh/uv/install.sh | sh uv sync uv run prepare.py # stáhne data a tokenizer, jednorázově (~2 minuty) uv run train.py # spustí jeden 5minutový experiment ručně
Komunita vytvořila forky i pro macOS, Windows a AMD GPU s upravenými hyperparametry pro menší compute.
Všechny experimenty se porovnávají podle jedné metriky – validation bits per byte (val_bpb). Čím nižší číslo, tím lepší model. Fixní časový rozpočet 5 minut zajistí, že všechny pokusy jsou přímo srovnatelné a výsledek je optimalizovaný pro konkrétní hardware, na kterém experimenty běží.
Repo obsahuje:
Repo neobsahuje:
Při spuštění se model inicializuje s náhodnými vahami a trénuje se od nuly. Pro použití s open-weight modely by bylo potřeba upravit experiment loop a metriku.
val_bpb)