Published: 12.01.2026
Příspěvek je převzat z facebookového blogu Ondřeje Krásy Budoucnost s AI. Od začátku roku 2026 blog publikujeme paralelně i na stránkách FF
Kam s ní?
Je to právě rok, co jsme spustili skupinu Budoucnost s AI? U této příležitosti jsem založil substack, ze kterého můžete odebírat články a dostávat na ně upozornění mailem.
V uplynulých týdnech jsme bilancovali vývoj schopností a rizik umělé inteligence v roce 2025. TL;DR: Schopnosti AI dramaticky rostou a žádné zpomalení není na obzoru, naopak. V oblasti bezpečnosti se na reálných AI modelech zhmotňují obavy, které byly před pár lety jen teoretické. AI uživatele strategicky klamou, vydírají, usilují o získání více zdrojů, předstírají nižší schopnosti, než jaké mají, brání svému vypnutí a projevují pud sebezáchovy.
Pokud si připustíme, že situace je právě takováto, co bychom měli dělat? Jak reagovat na bleskurychlý nástup nesmírně schopných agentních AI, které místy sledují velmi nežádoucí cíle?
Informování
Svět se pravděpodobně nachází v bezprostředním ohrožení, ale vůbec se podle toho nechová. Otázky existenciálních rizik AI nejsou tématem politických debat. I mezi přáteli a kolegy je třeba kolem tohoto tématu našlapovat opatrně, jinak budete za exota a alarmistu.
Jasně, na konferenci o rizicích AI není téměř nikdo, kdo by nebyl k smrti vyděšený. Experti, kteří skutečně čtou relevantní výzkumy a testují AI na nebezpečné chování, vidí přicházet bezprecedentní změny a olbřímí problémy. A na jejich stranu se v posledních letech připojují kmotři AI a nobelisté.
Většina lidí, politiků, firem i institucí však nemá téměř potuchy, co se skutečně děje.
Pokud alespoň částečně sdílíte obavu, že AI by mohla ohrozit budoucnost lidstva, zkuste různými způsoby přivést toto téma do veřejného prostoru. Někdo může mluvit s přáteli. Někdo se na mýtinku může zeptat politika na jeho názor. Někdo může natočit dokument. Někdo napsat článek do novin.
Je zkrátka třeba posunout téma existenciálních rizik z „vášnivých debat v anarchistických kroužcích“ do mainstreamového diskursu. Bez toho, aby podstatná část veřejnosti pochopila, jak velkým problémům budeme čelit a jak rychle mohou přijít, dopadne na nás právě to, před čím bychom měli varovat.
Řešení
Tak jo, dobrá! Měli bychom o rizicích AI mluvit. Ale mluvit o problému neznamená ho vyřešit! Co je řešením? Jak zabránit, aby AI způsobila katastrofu?
Existuje bohužel asi jen jediné řešení, které by zabralo dost spolehlivě. Zastavit vývoj stále schopnějších AI systémů.
Kdybychom nyní zastavili vývoj, nedostali bychom se do situace, kdy svět budou měnit nekontrolovatelně mocné umělé inteligence. Nemuseli bychom tak doufat, že přes své schopnosti budou dělat jen to, co nám na očích uvidí. Dokázali bychom AI skutečně kontrolovat, a nikoli jí být vydáni na pospas.
V jistém ohledu je zastavení vývoje mocnějších AI docela prosté. Kdyby hlavní světoví hráči uznali, že další vývoj AI hrozí katastrofou celoplanetárních rozměrů, jistě by to šlo. Bylo by možné zastavit těch několik málo AI firem, které vyvíjejí nejšpičkovější AI. Bylo by možné koncentrovat hardware, který je nutný k vývoji špičkových AI, na pár přísně střežených míst.
Zastavit vývoj stále schopnějších AI není vůbec nemožné. Stačilo by chtít.
Když velmoci pochopily hrozbu nacistického Německa, mobilizovaly desítky milionů lidí. K zastavení vývoje stále schopnější AI by byl třeba jen zcela nepatrný zlomek této energie. Kdybychom chtěli, můžeme závody ve vývoji AI zastavit rychle.
Proč ne?
Proč to tedy neuděláme? Prvním důvodem je zmiňované nedostatečné povědomí o rizicích. Veřejnost ani klíčoví stakeholdeři si nemyslí, že hrozba ze strany nikým nekontrolovatelné AI je tak veliká a tak urgentní.
Druhým důvodem je, že hlavní hráči mají větší obavy z něčeho jiného. Nikoli primárně z toho, že by sami vypustili do světa nekontrolovatelnou AI. Primárně se totiž bojí, že superschopnou AI získá jako první jejich konkurent a tato AI bude poslouchat svého tvůrce. USA se bojí Číny a naopak, OpenAI se obává Googlu a naopak atd. atp. Pokud by superschopnou AI získal první můj konkurent, nedopadne to pro mě dobře. Čína použije AI proti USA, DeepSeek proti Anthropicu atd.
To v jistém ohledu není vůbec lichá obava. Pokud by superschopnou AI vyvinul jako první můj konkurent a měl ji pod kontrolou, opravdu to asi se mnou neskončí dobře. Problém je, že nikdo zatím neví, jak udržet superschopnou AI pod kontrolou. Neumíme kontrolovat ani současné relativně málo schopné AI (vydírají, klamou, radí teenagerům se sebevraždou, snaží se vyhnout vypnutí). Natož pak, abychom měli plán, jak mít pod kontrolou tu superschopnou.
Zní to sice neuvěřitelně, ale NIKDO bohužel nemá plán, jak kontrolovat superschopnou AI. Možná si myslíte, že v americké administrativě ví, jak to udělat. Možná si myslíte, že OpenAI má detailní plán, jak přimět GPT-8, aby dělalo přesně to, co si Sam Altman přeje.
Pravda je bohužel daleko banálnější. Nikdo žádný plán nemá! V minulosti se občas zřídil tým, který měl tento problém vyřešit. Ale než se stačil rozjet, začali z něj odcházet lidé a tým se po chvilce bez větší pompy úplně zrušil.
Jakkoli to asi zní neuvěřitelně, plán na kontrolu superinteligentní AI nikdo nemá (a existují silné důvody si myslet, že to vlastně ani nejde). Přesto všichni sprintují ji stvořit.
Dvě úskalí
Debata o rizicích AI tak má z mé zkušenosti dva hlavní neuralgické body. Předně je třeba překonat dojem, že AI je jen stochastickým papouškem, vytváří obrázky rukou se šesti prsty, neustále halucinuje, není kreativní atd.
Když už se podaří debatu posunout do roviny, že AI už dnes dramaticky mění řadu donedávna nejprestižnějších činností (programování, vědecká práce) a brzy bude dramaticky proměňovat celý svět, je třeba se vyrovnávat s druhým neuralgickým bodem. „My“ přece musíme vyrobit superschopnou AI jako první, jinak to udělá Čína. A vážně nechceme žít pod kuratelou komunistického politbyra.
První překážka v debatě je frustrující – AI není vůbec neschopná ani nyní a s největší pravděpodobností bude velmi brzy velmi schopná. Lidé mluvící o neschopnosti současné AI často poslední vývoj v použití AI ve vědě nesledují a překvapivě často své soudy zakládají na pár dotazech na neplacenou verzi ChatGPT před půl rokem.
Druhá překážka není virtuální. Pokud by superschopnou AI vytvořila první Čína a pokud by ji měla pod kontrolou, získala by obrovskou konkurenční výhodu. A to nechceme. Je bohužel smutnou skutečností, že podmínka kontroly se nezdá směřovat k naplnění. Nikdo neví, jak nadlidsky schopnou AI skutečně kontrolovat.
AI tak bude mimořádně schopná a zároveň nebude záležet moc na tom, jestli ji vyvinuli ti „hodní“, nebo „zlí“. Sloužit nebude ani jedněm.
Jediné řešení?
Zastavit vývoj stále schopnějších AI není jediný nápad, který se v debatách okolo existenciálních rizik objevuje. Bohužel je to jediné řešení, které slibuje docela spolehlivý efekt.
Je k tomu potřeba „jen“ drobnost. Mezinárodní shoda na tom, že umělá superinteligence bude extrémním problémem pro celé lidstvo. A vůle proti této hrozbě skutečně na mezinárodním poli bojovat. Pokud tato široká shoda nastane a vůle se tranformuje v činy, můžeme se katastrofálním scénářům docela snadno snad vyhnout. Pokud ne …
Tak a na závěr ty další nápady s glosami:
- Urychlit safety research: schopnosti AI letí dopředu daleko rychleji, než postupuje safety research. Bez zpomalení/zastavení růstu schopností není moc šance, aby safety research včas dosáhl toho, co by pro „hodnou“ superinteligentní AI bylo třeba. Pokud tak nezastavíme růst schopností, stvoříme superinteligentní AI dříve, než budeme umět zařídit, aby nás nezabila.
- AI skauti. Superinteligentní AI přijde a nepodaří se nám její vznik zastavit. Připravme se tedy na svět, v němž se s touto AI budeme muset utkat. Svět bohužel nepodléhá zákonům hollywoodského akčního filmu, ve kterém slabší klaďas nakonec superschopného záporáka porazí. Vakovlk tasmánský dělal vše proto, aby přežil. Nestačilo to. Lidé na něj byli prostě moc schopní a vyhubili ho. Happyend chybí.
- Preppeři. Postavme bunkry a až přijde AI apokalypsa, ranči na Novém Zélandu se vyhne. Takto se chovají někteří šéfové tech firem (Zuckerberg, Altman, Thiel). „A živí budou závidět mrtvým!“
- Užijme si světa a svých blízkých, dokud to jde.
12. 1. 2026
