Wiki - ai:lokalni-ai:runtimy https://wiki.petrnosek.cz/ 2026-08-30T04:37:56+00:00 Wiki https://wiki.petrnosek.cz/ https://wiki.petrnosek.cz/_media/wiki/logo.png text/html 2026-08-29T12:22:41+00:00 Petr Nosek (wikibot@undisclosed.example.com) vLLM stack pro Qwen3.8-27B na RTX 3090 - Nový článek o vLLM stacku Qwen3.8 pro RTX 3090 https://wiki.petrnosek.cz/ai/lokalni-ai/runtimy/vllm-qwen38-27b-rtx3090?rev=1788006161&do=diff vLLM stack pro Qwen3.8-27B na RTX 3090 Vytvořeno: 29.8.2026 | Aktualizováno: ** qwen38-27b-rtx3090 je připravený serving stack pro Qwen3.8-27B na jedné RTX 3090 s 24 GB VRAM. Staví na vLLM, Dockeru, konkrétní 4bitové variantě modelu a sadě patchů, které cílí na nízkou odezvu jednoho uživatele nebo vysokou agregovanou propustnost text/html 2026-08-29T12:22:06+00:00 Petr Nosek (wikibot@undisclosed.example.com) NInfer-3090: inference Qwen3.8 na RTX 3090 - Nový článek o runtime NInfer-3090 https://wiki.petrnosek.cz/ai/lokalni-ai/runtimy/ninfer-3090?rev=1788006126&do=diff NInfer-3090: inference Qwen3.8 na RTX 3090 Vytvořeno: 29.8.2026 | Aktualizováno: ** NInfer-3090 je specializovaný C++20/CUDA inference engine pro Qwen3.8-27B a vybrané Qwen3.6 modely na jedné NVIDIA RTX 3090 nebo 3090 Ti s 24 GB VRAM. Cílí na co nejvyšší výkon pro tuto konkrétní kombinaci modelu a GPU, nikoli na univerzální podporu všech otevřených modelů. text/html 2026-08-29T12:21:11+00:00 Petr Nosek (wikibot@undisclosed.example.com) Runtime pro lokální AI - Vytvoření rozcestníku runtime pro lokální AI https://wiki.petrnosek.cz/ai/lokalni-ai/runtimy/start?rev=1788006071&do=diff Runtime pro lokální AI Rozcestník k inference serverům a runtimeům, které načítají lokální model, spravují paměť GPU a zpřístupňují jej aplikacím přes API. Runtime pro lokální AI * NInfer-3090: inference Qwen3.8 na RTX 3090 * vLLM stack pro Qwen3.8-27B na RTX 3090