Publikováno: 08.06.2026
Příspěvek je převzat z facebookového blogu Ondřeje Krásy Budoucnost s AI. Blog publikujeme paralelně i na stránkách FF.
Pokud berete vážně existenční rizika spojená s AI, dojdete pravděpodobně k nevyhnutelnému závěru. Neumíme dost dobře kontrolovat ani současné systémy, a není proto rozumné stvořit systémy schopnější než lidstvo jako celek. Pokud bychom totiž umělou superinteligenci (ASI) stvořili, vydáme se jí na milost a nemilost. Dokud si nebudeme jistí, jaké cíle sleduje ten, komu bychom odevzdali klíče od budoucnosti, bude lepší nic tak mocného na svět nepřivést.
K podobnému závěru docházejí opravdu mnozí – špičkoví vědci, odborníci na AI bezpečnost, nobelisté a občas dokonce už i politici. A někdy to říkají i šéfové velkých AI labů vyvíjejících nejschopnější AI modely.
Možná vás to překvapí, ale třeba takový Elon Musk strávil řadu let varováním politiků i veřejnosti před existenčními riziky AI. Sam Altman založil OpenAI právě s tím, že velmi schopná AI by mohla lidstvu extrémně uškodit. A na posledním ekonomickém fóru v Davosu si šéf AI v Googlu a šéf Anthropicu notovali v obavách i v přání, aby se překotný vývoj umělé inteligence dal zpomalit.
AI vyvíjí AI
Mnoho lidí považuje AI modely od Anthropicu za to nejlepší, co aktuálně existuje. Ať už jde o nejnovější Opus, zatím stále velmi omezeně dostupný Mythos, nebo na programování zaměřený Claude Code, Anthropic v současnosti pravděpodobně těsně vede nad OpenAI. Google je o celou koňskou délku pozadu a další společnosti ze závodu buď odstoupily (asi Muskova xAI), nebo hrají přinejlepším třetí ligu (např. Facebook).
Minulý týden právě Anthropic vydal obsáhlejší zprávu, v níž se zamýšlí nad budoucností. Zaměřuje se přitom na skutečnost, že AI stále více přispívá k vývoji schopnějších AI systémů (tzv. recursive self-improvement). Jedna generace umělé inteligence zvyšuje schopnosti generace další.
Anthropic pozoruje tento trend v mnoha aspektech vývoje svých AI modelů. Několik příkladů. AI například píše více než 80 % veškerého kódu, který v Anthropicu vzniká. Zatímco na konci minulého roku byla kvalita kódu napsaného AI o něco horší než kvalita kódu napsaného lidmi, nyní je už zhruba srovnatelná. Firma přitom počítá s tím, že již brzy bude AI generovaný kód kvalitnější než kód lidský.
Podle vlastního hodnocení jsou zaměstnanci firmy ve své práci několikanásobně rychlejší, než by byli bez AI. V Anthropicu pracují jedni z nejlepších inženýrů na světě. AI je už v současnosti schopná objevovat chyby v práci, kterou tito nejlepší z nejlepších odborníků ve svém oboru dělají.
„V současnosti vypadá situace zhruba následovně: lidé mají nápady a AI modely jsou schopné tyto nápady realizovat, otestovat a vyhodnotit řádově rychleji, než to bylo dříve možné.“
Nejlepší výzkumníci a inženýři v Anthropicu jsou stále ještě výrazně lepší ve vytyčování toho, co se má zkoumat a rozvíjet. Lidé tak určují cíle a mají lepší cit pro nadějné směry výzkumu. V jejich realizaci je ale už schopnější AI.
Lidé – přesněji ti nejlepší světoví odborníci na danou oblast pracující v Anthropicu – jsou tak stále výrazně lepší v určování, který experiment má smysl zkusit. „Samotné provedení experimentu (napsání kódu, získání výsledků) už dnes nestojí téměř nic z hlediska investice lidského času, i když stále něco stojí z hlediska investice výpočetního výkonu.“
Co bude dál?
AI se tak stále více podílí na vývoji schopnější AI příští generace. Kam to celé spěje?
První možnost: schopnosti AI se zastaví na současné úrovni. Anthropic tuto variantu nevylučuje, zároveň ale jasně říká, že ji nepovažuje za pravděpodobnou. Ačkoli by tato varianta dala vládám i společnosti nejvíce času připravit se na budoucnost, všechny trendy růstu schopností svědčí proti ní. I v této variantě by se sice svět dramaticky změnil. Díky mnoha pyramidám AI agentů by firma o 100 lidech dokázala to, co dříve dokázala firma o 1 000 lidech. Nicméně v porovnání se dvěma dalšími a pravděpodobnějšími variantami by šlo o relativně pozvolnou změnu.
Druhá možnost: schopnosti AI dál porostou, ale lidé budou stále vytyčovat hlavní směry výzkumu. V této variantě, která se Anthropicu zdá nejpravděpodobnější, by firma o 100 lidech byla schopná zastat práci firmy o 10 000 či dokonce 100 000 lidech. Takový vývoj by znamenal revoluci ve znalostní ekonomice i správě státu. Mohl by ale přinést i autoritářský dohled nepředstavitelných rozměrů či na míru šitou masovou manipulaci.
Třetí možnost: AI plně převezme otěže vývoje schopnějších AI systémů. AI nebude nadlidsky schopná jen ve vykonávání lidmi definovaných výzkumných úkolů. Bude zároveň lepší než lidé i v jejich stanovování. Rychlost vývoje umělé inteligence už nebude omezená schopnostmi lidí, ale pouze dostupným výpočetním výkonem. Lidé přitom nebudou hrát ve vývoji schopnějších AI systémů téměř žádnou roli. V tomto scénáři není vůbec zaručené, že AI systémy budou sledovat cíle, které jsou pro lidi jakkoli výhodné (problém alignmentu nebude vyřešen).
Co s tím?
Pozoruhodné a oceněníhodné je, že Anthropic neuhýbá před tím, co z těchto úvah o blízké budoucnosti plyne.
„Pokud by bylo možné skutečně zpomalit vývoj této technologie, abychom získali čas vyrovnat se s jejími nesmírnými důsledky, domníváme se, že by to asi bylo správné … Domníváme se, že by bylo pro svět dobré, kdybychom měli možnost zpomalit nebo pozastavit vývoj nejpokročilejších AI.“
A Anthropic vyvozuje ze svých úvah i některé praktické důsledky. „Anthropic Institute bude ve spolupráci s mnoha dalšími zkoumat a podnikat kroky, které pomohou vytvořit rámec pro důvěryhodné zpomalení nebo pozastavení … Pokud by takový rámec existoval, očekáváme, že bychom sami vývoj zpomalili či dočasně pozastavili, pokud by k tomu ověřitelně přistoupili i další vývojáři špičkových AI systémů.“
Anthropic tak explicitně říká, že pozastavení vývoje AI by bylo rozumné. Obává se ale, že pokud by zastavil jen on, nic moc by se nezměnilo. Změnilo by se jen to, kdo je v čele pelotonu. Nezměnilo by se ale to, že vývoj pádí plnou parou vpřed a v cíli na nás čekají opravdu neradostné vyhlídky.
Anthropic tak plánuje přispět k vytvoření rámce, v němž by mohli vývoj pozastavit všichni a měli by rozumnou jistotu, že jejich pauza nebude jen zneužita jinými hráči k tomu, aby se do vedení dostali sami.
Cíl pozastavit vývoj AI do doby, než budeme velmi spolehlivě vědět, že se neřítíme plnou parou z útesu, je zcela rozumný. Anthropic aktuálně vede ve vývoji AI. Proto jeho volání po pozastavení závodu není voláním losera, který se snaží dohnat čelo závodu.
Hořkou pachuť má ale volání po pozastavení závodu za situace, kdy Anthropic zároveň intenzivně přikládá pod kotel. Nejenže velmi agresivně vydává jeden nový model za druhým. Zároveň směřuje na burzu, a dostává se tak do nemilosrdných akciových oprátek veřejně obchodované společnosti.
Možná ale jen naživo sledujeme tragédii firmy, která tuší, co by bylo správné (pozastavit vývoj a dopřát společnosti více času na zabránění nejhorším scénářům), ale zároveň se cítí chycena v neúprosné dynamice závodu k superinteligenci, z něhož nelze odejít jinak než nohama napřed.
Dva tipy na závěr
Kolegové z PauseAI CZ začali vydávat newsletter o rizicích AI. Dělají to velmi dobře, a tak doporučuju k odběru „Pozastavení nad AI“ na Substacku (odkaz v komentářích).
Začal jsem ke svým postem generovat i čtenou verzi. Poslechnout si ji můžete na mém substacku „Budoucnost s AI?“
8. 6. 2026
