Published: 08.10.2026
Příspěvek je převzat z facebookového blogu Ondřeje Krásy Budoucnost s AI (vychází také na substacku, kde ho můžete odebírat). Blog publikujeme paralelně i na stránkách FF.
Obavy z nekontrolovatelné AI často ústí v naléhavé přání, aby USA a Čína uzavřely dohodu, že umělou superinteligenci nestvoří, a předešly tak katastrofickým scénářům. Přiznávám, že i já ho opakovaně vyslovuju.
Asi tomu nebudete chtít věřit, ale dosud jsem u vyjednávání žádné zásadní smlouvy mezi USA a Čínou nebyl. A tak existuje nepatrná šance, že si celý proces představuju trošilinku zkresleně a možná i docela malililičko naivně. A existuje drobouličká šance, že ani mnoho dalších lidí, kteří takovou dohodu doporučují, vlastně nemá moc zkušeností s tím, jak se mezi velmocemi dělají zásadní mezinárodní smlouvy.
Téhle uzoulinké skupince nezkušených „diplomatů“ nyní házejí záchranné lano bratři Harrisové. Podrobně vyzpovídali dvanáct zkušených vyjednavačů mezinárodních dohod, například smluv o nešíření jaderných zbraní či o zákazu chemických a biologických zbraní. Těžké kalibry. A ptali se jich, jak by se dal mezinárodně zakázat vývoj umělé superinteligence.
Jeden telefonát
Vznik superinteligence by asi zakázat šlo. Jen zřejmě ne tak, jak si naiva mého typu představuje.
Příprava standardní mezinárodní smlouvy trvá dlouhé roky a zahrnuje mnoho kol jednání na různých úrovních. Pak musí smlouva ještě projít ratifikací, která zabere další léta.
Nesmírně schopné systémy, které nebudeme mít pod kontrolou, ale mohou vzniknout už do roka či dvou. Zamezit vzniku takovýchto modelů tak bude nutné v časovém okně, do kterého se uzavření „běžné“ mezinárodní dohody prostě nevejde.
„Takže na smlouvu zapomeňte. Smlouvy už neuzavíráme, protože to prostě trvá moc dlouho.“
Na tom se lidé, kteří reálně vyjednávali smlouvy mezi velmocemi, jednomyslně shodli.
Naopak dohoda založená na jednom telefonátu mezi prezidenty USA a Číny je kupodivu daleko realističtějším scénářem. Pokud bude mít prezident USA skutečnou obavu ze vzniku superinteligence, nejspíš vyvolanou velkou AI katastrofou („AI Černobylem“), může jedním rozhovorem se svým čínským protějškem odvrátit ještě hrozivější události.
Začátky budou asi velmi chaotické. Ani jedna ze stran nebude na takovou situaci připravena. Ačkoli by bylo záhodno, aby obě strany měly upřímný zájem zastavit šílený závod ve vývoji ještě schopnějších systémů, věřit si nemohou. A tak výzvu k druhé straně bude muset doprovázet jasné vymezení nepřekročitelných červených linií i věrohodná hrozba postihu za jejich překročení.
Takový telefonát nám získá týdny či měsíce. Během nich bude třeba vyvinout daleko jemnější mechanismy dohledu a vynucování dohody včetně technických řešení, která nyní existují jen v zárodcích (například monitoring dění v datacentrech). Následovat musí obrovské technické a diplomatické úsilí, aby se prvotní impuls nerozplynul a naopak se přetavil v trvalejší uspořádání.
Perspektivy
Popsaný způsob, jak zabránit vzniku umělé superinteligence, vychází z americké perspektivy. Harrisové přitom nejsou v oboru žádnými nováčky a jejich předchozích textů i dalších projektů si velmi cením (třeba výborného podcastu Last Week in AI, který spolumoderuje Jeremie). Jejich článek uvádí mnoho zkušeností amerických vyjednavačů s proradností a nedůvěryhodností čínských kolegů. Předpokládám, že z čínské perspektivy se situace jeví dosti podobně, jen těmi bezskrupulózními oportunisty jsou diplomaté USA.
Autoři také upozorňují na jeden překvapivý destabilizační faktor. Zájem obou stran na zastavení vývoje schopnější AI závisí na intenzivní obavě, že se takové systémy vymknou kontrole a napáchají obrovské škody. Tuto obavu může zmírnit pokrok na poli alignmentu. Nepřítelem dohody o nestvoření schopnějších modelů je tak paradoxně pokrok ve schopnosti sladit jejich cíle s přáními tvůrců. Kdyby například v Číně přišli na způsob, jak vytrénovat pokročilejší AI, která bude mít na srdci zájmy čínského lidu, měla by Čína silnou motivaci dohodu porušit a takovou AI stvořit. Což by ale vyvinulo tlak na USA, aby své modely minimálně dorovnaly na čínskou úroveň. Spirála vylepšování by se znovu roztočila a mohla nás velmi rychle dovést k nekontrolovatelným systémům s obrovskými schopnostmi.
Analýza také nijak nezakrývá, že náhlé zastavení vývoje bude ekonomicky extrémně bolet a zmrazí biliony dolarů z dalšího vývoje. Prosadit zastavení tak bude o to těžší.
Zastavení vývoje velmi schopných AI modelů, které se vymknou lidské kontrole, je tak podle projektu The Endgame (Koncovka) možné. Zkušení vyjednavači ale varují, že bychom neměli doufat v uhlazené diplomatické 4D šachy. Ve skutečnosti půjde o daleko náhlejší, improvizovanější a bolestivější krok.
O to víc bychom ale o této vítězné „koncovce“ pro lidstvo měli mluvit. Čím lépe si uvědomíme, co zastavení asi přinese, tím spíš můžeme všichni přispět k tomu, že se zastavíme včas.
IBAI - Iniciativa pro bezpečnost AI
9. 10. 2026
