Published: 14.09.2026
Příspěvek je převzat z facebookového blogu Ondřeje Krásy Budoucnost s AI (vychází také na substacku, kde ho můžete odebírat). Blog publikujeme paralelně i na stránkách FF.
V posledních pár týdnech se začalo blýskat na lepší časy. Ne že bychom měli proti AI vyhráno. To ani zdaleka!
Ale o skutečném problému – brzy stvoříme extrémně schopné systémy, které budou dělat hodně katastrofické věci – ví mnohem více lidí. Jsou ochotni o něm relativně otevřeně mluvit. A někteří dokonce přicházejí i se soudnými řešeními.
Co že se to vlastně stalo?
Přední laby začaly daleko otevřeněji říkat, že neumí včas zajistit, aby se jejich stále schopnější AIčka neutrhla ze řetězu – v žargonu: neumí vyřešit alignment před vznikem superinteligence. Ty nesmírně schopné systémy jsou opravdu už blízko (měsíce či nízké jednotky let) a společnosti vyvíjející AI nejsou příliš optimističtí, že by se do jejich příchodu podařilo najít techniky, jak tyto systémy sladit s lidskými hodnotami. Takto se, na své poměry neobvykle explicitně, vyjádřil jak vědecký šéf OpenAI, tak šéf příslušného týmu z Anthropicu (Pachocki a Hubinger).
Slavná rezignace
Ve středu pak rezignoval z Anthropicu jeden z výzkumníků, který dříve pracoval i v OpenAI (Jacob Coxon). Svou rezignaci doprovodil vysvětlením, že přední AI společnosti míří plnou parou k systémům, které budou vylepšovat samy sebe (recursive self-improvement), což je ekvivalent hraní ruské rulety s životy nás všech. Jacobův tweet se stal virálem. Obavy následně potvrzovalo opravdu mnoho známých i neznámých lidí a o jeho odchodu informovala média po celém světě. Po hacknutí Hugging Face tak v krátké době přichází další událost, která se dostala na přední stránky novin. (A lidem, kteří bagatelizují existenční rizika AI, z toho všeho mediálního ohlasu praskaly hromadně žilky.)
Jacob Coxon přitom nebyl zdaleka prvním a ani nejprestižnějším vědcem, který z OpenAI či Anthropicu v posledních letech odešel kvůli obavám z katastrofálních dopadů AI. Byla jich dlouhá řada. Široký ohlas jeho rezignace asi souvisí s nahromaděnou energií v celé komunitě i širší veřejnosti. Po aféře Open-Face, mnoha dalších zprávách o AI agentech utržených ze řetězu, po uvedení nových a zase daleko schopnějších modelů, které ale nejsou vůbec sladěné s lidskými hodnotami, se mnoho insiderů i lidí zvenčí extrémně obává příštích měsíců a let.
Rezignace Jacoba Coxona tak byla zřejmě katalyzátorem těchto nálad a vytvořila příležitost nechat na veřejnosti zaznít to, co si insideři říkají mezi sebou už delší dobu. Nejsme vůbec na dobré cestě a riziko velkých katastrof se blíží extrémně rychle.
Politika
V pátek pak skupinka více než 70 britských zákonodárců vyzvala svého premiéra, aby Británie zakázala vývoj umělé superinteligence a zasadila se o mezinárodní dohodu ve stejném duchu.
Ne, že by to bylo první politické prohlášení proti umělé superinteligenci. Třeba jeden z bývalých britských premiérů před ní varoval již před několika lety (ale kde je mu konec). Současná britská iniciativa je ale jiná šíří podpory z mnoha různých politických stran. Skutečnost, že se pod dopisem objevují politici napříč spektrem a je jich více než 70, svědčí o tom, že téma nabývá opravdu na politické váze.
Jiným dokladem, že témata okolo existenčních rizik AI nabývají na důležitosti, je pak nedávné vyjádření vysokého komisaře OSN pro lidská práva. Komisař uvedl, že sdílí obavy insiderů a AI může i podle něj představovat existenční riziko pro lidstvo.
Šéfíci se přidávají
Velkou pozornost vyvolal také včerejší esej šéfa Anthropicu, Daria Amodei, s názvem „Musíme řídit tempo vývoje na technologické špičce“ („We must pace the frontier“). V eseji se dozvídáme, že tempo vývoje je šílené, že už za 6 měsíců může AI ovládnout internet, že to může skončit skutečnou katastrofou, a tak bychom měli řídit to, jak rychle se k útesu řítíme. (Nebo něco takového.)
Konkrétní návrhy z eseje nebudu detailněji rozebírat. Jsou vesměs naprosto rozumné, např. vstup nezávislých bezpečnostních auditorů do AI firem. Vzhledem k agresivnímu růstu schopností AI se však drží příliš zkrátka a bylo by ve skutečnosti potřeba šlápnout na brzdu daleko rychleji a silněji.
Každopádně je to od šéfa Anthropicu větší krok správným směrem. Dosud se totiž soustředil na to, že musíme hlavně rozdrtit Čínu. Nyní už je daleko blíž k představě, že bez dohody s Čínou to fakt nepůjde. Ono je totiž jedno, kdo umělou inteligenci současnými metodami stvoří. Pokud ji někdo stvoří, bude to pro lidstvo asi opravdu velký špatný.
Na Amodeiho esej pozitivně zareagovali další šéfové konkurenčních AI firem. Není žádné tajemství, že si Dario Amodei a Sam Altman nemohou přijít na jméno. Doslova – když o konkurenční firmě mluví, nikdy neříkají „OpenAI“ nebo „Anthropic“, ale s komickou důsledností „další AI laby, které jsou na špici“ (aka „he who must not be named“).
Teď ale Sam na Daria reagoval přímo a řekl, že má pravdu a že musíme kontrolovat tempo vývoje AI. A přidal se i Elon Musk (xAI). A taky Demis Hassabis (Google). A taky Satya Nadella (Microsoft, teda ten nemá do čeho mluvit, ale i tak se přidal).
(Nepřidal se teda nikdo z Facebooku, což je bohužel dost příznačné.)
Zkrátka ledy se pohnuly. O riziku vyhynutí lidstva kvůli AI se píše na BBC, ČT a Novinkách i na NY Times. Včerejší podivíni jsou v primetimu a o tématu se může daleko otevřeněji mluvit. Jestli se tato změna Overtonova okna propíše do nějaké účinné mezinárodní akce, závisí i na tom, jak se k tomu všichni postavíme.
IBAI - Iniciativa pro bezpečnost AI
14. 9. 2026
