Qwen3.5 a fine-tuning modelů

Vytvořeno: 8.7.2026 | Aktualizováno: 08.07.2026 18:57

Qwen3.5 je rodina open-weight AI modelů od týmu Qwen/Alibaba. Prakticky nejde o jeden model, ale o více variant různé velikosti, které se liší počtem parametrů, architekturou, nároky na hardware a vhodností pro lokální běh nebo fine-tuning.

V kolekci Qwen3.5 na Hugging Face jsou uvedené varianty od menších modelů po velmi velké MoE modely. Veřejně jsou dostupné například:

• Qwen3.5-0.8B
• Qwen3.5-2B
• Qwen3.5-4B
• Qwen3.5-9B
• ''Qwen3.5-27B''
• ''Qwen3.5-35B-A3B''
• Qwen3.5-122B-A10B
• Qwen3.5-397B-A17B

Zápis typu „gwen 3.5“ je pravděpodobně jen chybný nebo fonetický zápis názvu Qwen3.5.

U modelů je potřeba rozlišovat, jestli jde o dense model nebo MoE model:

• Qwen3.5-27B je dense model s 27B parametry.
• Qwen3.5-35B-A3B je MoE model — podle model card má 35B parametrů celkem, ale aktivované jsou zhruba 3B parametry.

MoE model může být výpočetně efektivnější při inferenci, ale pro paměť je pořád potřeba počítat s uložením vah celého modelu. To je důležité hlavně při lokálním provozu a kvantizaci.

Přesné nároky se mění podle backendu, kvantizace, délky kontextu, batch size a toho, jestli jde jen o inference nebo o trénování. Oficiální model cards Qwen3.5 uvádějí, že modely jsou kompatibilní s Hugging Face Transformers, vLLM, SGLang a KTransformers. Pro plný dlouhý kontext uvádějí příklady se serverovým nasazením přes tensor parallel na více GPU.

Důležitý detail: Qwen3.5 má podle model cards nativní kontext 262 144 tokenů a lze ho rozšířit až přibližně na 1 010 000 tokenů. Dlouhý kontext ale výrazně zvyšuje paměťové nároky kvůli KV cache. Pokud model na daném hardwaru padá na OOM, první praktický krok je zkrátit maximální context length.

Hrubé pravidlo pro paměť vah:

• FP16/BF16: přibližně 2 bajty na parametr
• INT8: přibližně 1 bajt na parametr
• 4bit: přibližně 0,5 bajtu na parametr, plus overhead

Orientačně to znamená:

Tahle čísla ber jako orientační. Nejsou to garantované oficiální minimální konfigurace pro každý konkrétní backend. Reálná spotřeba bývá vyšší kvůli KV cache, vision části modelu, frameworku a runtime overheadu.

Fine-tuning a dopsání skillu řeší jiný typ problému.

Skill je explicitní instrukční balíček: pravidla, workflow, checklisty, příklady a odkazy na nástroje. Hodí se pro postupy, které mají být čitelné, upravitelné a auditovatelné.

Fine-tuning mění chování modelu statisticky přes trénovací příklady. Hodí se, když se má model naučit opakovatelný styl, klasifikaci, extrakci, rozhodování nebo specifický formát výstupu na mnoha příkladech.

Praktické pravidlo:

• pokud jde o postup a pravidla, napiš skill;
• pokud jde o opakovatelný vzor chování naučitelný z mnoha příkladů, zvaž fine-tuning;
• pokud jde o aktuální fakta nebo dokumentaci, použij RAG, načtení zdrojů nebo explicitní kontext, ne fine-tuning.

Fine-tuning má smysl hlavně tehdy, když existuje dostatek kvalitních trénovacích příkladů a úloha se často opakuje.

Typické příklady:

• převod poznámek do jednotné struktury;
• extrakce dat z faktur, smluv nebo objednávek;
• klasifikace ticketů nebo e-mailů;
• generování odpovědí v přesně daném stylu;
• naučení malého lokálního modelu na úzký firemní/doménový úkol;
• rozhodování agenta v opakovatelných UI scénářích, pokud existují uložené trajektorie akcí.

Příklad s fakturami: pokud je cílem deterministicky stahovat faktury z několika známých systémů, lepší je API konektor, Playwright skript nebo skill pro konkrétní systém. Fine-tuning začíná dávat smysl až ve chvíli, kdy se model učí obecný vzor napříč mnoha různými systémy nebo se učí z faktur vytahovat strukturovaná data.

Oficiální dokumentace Qwen k fine-tuningu rozlišuje tři hlavní režimy: full-parameter fine-tuning, LoRA a Q-LoRA.

Full fine-tuning trénuje všechny váhy modelu. Je to nejdražší varianta, ale zároveň dává největší kontrolu nad výsledným modelem.

Hodí se, když:

• je k dispozici dostatek GPU paměti;
• jde o produkční model s vysokou hodnotou;
• nestačí adapterový fine-tuning;
• je připravený kvalitní dataset a evaluace.

Nevýhoda je cena a infrastruktura. Qwen dokumentace uvádí pro starší Qwen-7B orientačně zhruba 43,5 GB GPU paměti na 2 GPU při sekvenci 256. Pro větší Qwen3.5 modely je potřeba počítat s výrazně vyššími nároky.

LoRA je parameter-efficient fine-tuning metoda. Základní model zůstává zmrazený a trénují se malé nízkorankové adaptéry.

Výhody:

• výrazně nižší paměťové nároky než full fine-tuning;
• rychlejší trénink;
• adaptery se dají verzovat a připojovat k základnímu modelu;
• dobrý výchozí kompromis pro většinu praktických úloh.

LoRA je obvykle první metoda, kterou má smysl zkusit, pokud nestačí prompt, skill nebo RAG.

Q-LoRA kombinuje kvantizovaný základní model a LoRA adaptéry. Cíl je snížit VRAM nároky tak, aby se dal trénovat větší model na dostupnějším hardwaru.

Výhody:

• nejnižší VRAM nároky z běžných fine-tuning metod;
• vhodné pro domácí nebo menší pracovní stanice;
• dobrý způsob, jak začít s 4B/9B modely a experimentálně i s většími modely.

Nevýhody:

• trénink může být pomalejší;
• výsledek je citlivý na kvalitu datasetu;
• není to náhrada za full fine-tuning u všech typů úloh.

Qwen dokumentace používá konverzační JSON formát. Jedna položka může vypadat například takto:

[
  {
    "id": "example_0",
    "conversations": [
      {
        "from": "user",
        "value": "Jak nastavím MQTT v Home Assistantu?"
      },
      {
        "from": "assistant",
        "value": "Nejprve nainstaluj MQTT broker a potom nastav integraci MQTT v Home Assistantu."
      }
    ]
  }
]

Pro SFT se typicky používají dvojice nebo konverzace typu user/assistant. Důležité je, aby cílová odpověď byla přesně taková, jakou má model v budoucnu napodobovat.

Pro preference tuning, například DPO, se používá struktura s lepší a horší odpovědí:

{
  "prompt": "Vysvětli rozdíl mezi LoRA a Q-LoRA.",
  "chosen": "LoRA trénuje malé adaptéry nad původním modelem, zatímco Q-LoRA používá kvantizovaný základní model a tím snižuje nároky na VRAM.",
  "rejected": "Je to v podstatě totéž."
}

Pro fine-tuning Qwen modelů se dají použít různé vrstvy nástrojů:

• Hugging Face Transformers — základní načítání modelu, tokenizace a tréninkové pipeline.
• PEFT — LoRA, Q-LoRA a další parameter-efficient metody.
• TRL — SFTTrainer, DPOTrainer a další tréninkové postupy pro supervised fine-tuning a preference optimization.
• LLaMA-Factory — vyšší konfigurační vrstva pro fine-tuning různých open modelů.
• Axolotl — konfigurační framework pro trénování a fine-tuning LLM.

Pro inference a serving Qwen3.5 model cards zmiňují hlavně vLLM, SGLang, KTransformers a Hugging Face Transformers. Pro produkční nasazení je lepší dedikovaný serving engine než jednoduchý testovací skript.

Pro běžné experimentování je rozumný postup:

1. Vybrat nejmenší model, který úlohu ještě zvládá.
2. Nejdřív zkusit prompt, skill nebo RAG.
3. Pokud nestačí, připravit malý, ale kvalitní dataset.
4. Začít přes LoRA nebo Q-LoRA.
5. Měřit výsledek na validačních příkladech, ne jen pocitově.
6. Teprve potom zvyšovat velikost modelu nebo řešit full fine-tuning.

Pro domácí hardware je praktičtější začít s Qwen3.5 4B nebo 9B. Větší modely jako 27B nebo 35B-A3B dávají smysl hlavně s 24GB+ GPU, kvantizací a krátkým kontextem. Pro dlouhý kontext nebo full fine-tuning je potřeba serverová konfigurace.

• Fine-tuning nenahrazuje dokumentaci ani aktuální fakta.
• Špatný dataset model poškodí rychleji než špatná volba metody.
• Výsledek je potřeba měřit na testovacích příkladech, které nebyly v tréninku.
• U modelů s dlouhým kontextem je potřeba hlídat KV cache a reálnou spotřebu VRAM.
• U agentních workflow se často vyplatí nejdřív napsat skill nebo nástroj a fine-tuning řešit až po nasbírání trajektorií.

• Qwen3.5 kolekce na Hugging Face
• Qwen3.5-27B model card
• Qwen3.5-35B-A3B model card
• Qwen — Fine-tuning Overview
• Hugging Face PEFT — LoRA
• Hugging Face TRL
• Hugging Face Transformers — Training
• LLaMA-Factory
• Axolotl