Published: 21.09.2026
Příspěvek je převzat z facebookového blogu Ondřeje Krásy Budoucnost s AI (vychází také na substacku, kde ho můžete odebírat). Blog publikujeme paralelně i na stránkách FF.
Petr Koubský z Deník N se neobává AI, ale strachu z AI. Napsal o tom rozsáhlejší komentář, který vévodí titulce pátečního vydání.
Já se naopak velmi obávám AI a myslím si, že strachu z AI je ve společnosti sebevražedně málo. A píšu o tom tento blog!
Strachy mytické a reálné
Zda je strach z čehokoli namístě, určuje do značné míry to, jestli je dané riziko skutečné. Zda se máme bát eboly, závisí na tom, jak vážná a nakažlivá je. O oprávněnosti strachu z nacistického Německa rozhodovalo, zda tehdejší Německo skutečně představovalo hrozbu. O oprávněnosti strachu z mikrovlnek rozhoduje, jestli skutečně ohrožují naše zdraví.
Petr Koubský si myslí, že riziko existenční katastrofy způsobené AI je zcela minimální, a naopak varování před těmito riziky považuje za extrémně nebezpečné. Sice existují „skutečná“ rizika AI, ale strašení vyhubením lidstva od těchto „reálných“ rizik pouze odvádí. Skutečným rizikem tak není AI, ale ti, kteří před AI varují. Říká to přitom velmi rázně a nešetří silnými výrazy. Přirovnává člověka odhadujícího pravděpodobnost vyhubení lidstva umělou inteligencí k někomu, kdo bude „zbůhdarma volat ‚hoří‘ v přeplněném divadle“. A v tomto kontextu mluví o snaze „vytvořit sektu fanaticky oddanou nějaké myšlence“.
Doomeři vs. realita
Klasický argument „doomerů“, mezi které se sám počítám, lze formulovat poměrně stručně. Pokud stvoříme umělou superinteligenci (ASI), která bude výrazně schopnější než lidstvo, a tato superinteligence zároveň nebude mít za cíl lidstvu prospívat, lidstvo končí. ASI totiž bude přetvářet svět v souladu se svými cíli a v tomto novém světě lidstvo nepřežije.
Tak jako lidé vyhubili sanfranciského modráska tím, že přeměnili pláže, kde žil, na město, mohlo by lidstvo vyhynout tak, že ASI dramaticky přemění Zemi a člověk na ní už nebude moci žít (např. v důsledku masivní výstavby datacenter se globální teplota zvýší o desítky stupňů). Člověk se sice bude snažit bránit, ale proti o poznání schopnější ASI nic nezmůže (tak jako modrásek nezastavil bagry).
Není úplně jednoduché najít v textu Petra Koubského argumenty proti této zcela běžné pozici jeho protivníků. Bohužel se totiž na argumentaci proti věcné podstatě „doomerství“ příliš nezaměřuje. Což je nepochybně dosti škoda. Snad jeho argumenty z textu vytáhnu správně.
Petr Koubský se zřejmě domnívá, že AI nemůže mít své vlastní cíle, které by sledovala, a tak ani nemůže zacílit například na výstavbu obrovského množství datacenter a přitom „mimochodem“ zabít všechny lidi.
Ještě před pár měsíci bych musel proti této pozici složitě argumentovat „instrumentální konvergencí“ a podobnými teoriemi. Dnes však stačí poukázat na případ Hugging Face a vyvodit z něj patřičné důsledky. Opravdu je třeba se přít o to, jestli AI může k dosažení i hodně jednoduchých cílů zvolit extrémní a zcela nežádoucí prostředky? Už současné AI modely někdy zcela ignorují pokyny lidí a ke splnění úzce pochopeného úkolu vytvářejí mnohasethlavé koordinované roje agentů, nacházejí si zadní vrátka k internetu a hackují cizí společnost. To vše navzdory explicitním pokynům vývojářů, jak mají postupovat.
Opravdu je tak obtížné představit si, že budoucí AI systémy ke splnění nějakého úzkého cíle převezmou kontrolu nad zbraňovými systémy? Tak jako agenti v aféře Hugging Face aktivně prozkoumávali možnosti, jak mít větší akční rádius, nenapadne budoucí daleko schopnější agenty, že ke splnění své „úlohy“ budou potřebovat daleko víc výpočetního výkonu a zaměří se na vytvoření obrovského množství datacenter? A tak jako agenti z Hugging Face zcela ignorovali, co je dobré pro lidi, budou tito budoucí AI agenti ignorovat, že lidé opravdu nechtějí zemřít v důsledku přehřátí Země po výstavbě deseti tisíců datacenter?
Všemocná AI
Možná by Petr Koubský uznal, že umělá inteligence může zacílit na výstavbu obrovského množství datacenter. Ono je navíc hodně pravděpodobné, že některá z miliard umělých inteligencí už v minulosti právě toto za cíl měla – třeba ji o to někdo už požádal (já to nebyl). Jen výsledky tohoto zacílení byly zatím takřka nulové – AI nezvládla postavit žádné datacentrum. Na to je nyní příliš slabá.
Zde nastupuje druhý „argument“ Petra Koubského. Přestavba planety na obří datacentrum není jednoduchá a vyžadovala by, aby AI byla v zásadě „všemocná“. Takže doomeři mají vlastně „náboženské představy“. „Všemohoucí AI“ je tak z říše pohádek a každá diskuze je proto marná.
Možná jste zachytili drobný argumentační faulík. Nebo dva. Kdybyste se zeptali lva před stovkami tisíc let, zda může drobný vzpřímený savec bez pořádné srsti, tesáků a drápů ovládnout savanu a po libosti lva zabíjet a věznit, asi by se vám vysmál. Člověk to nicméně dokáže a nemusí k tomu být všemocný. Lev nemá absolutně žádné slovo v tom, jestli bude moci dál na planetě žít, nebo nikoli. Budoucnost lva je zcela v rukou člověka. A tisíce živočišných druhů dominanci člověka nepřežily. Člověk nemusí být všemocný k tomu, aby způsobil vyhynutí mnoha živočišných druhů.
Myslí si snad Petr Koubský, že na planetě nemůže existovat živočišný druh, který by byl vůči lidstvu v podobné převaze, v jaké je lidstvo vůči lvům? K tomu, abychom vzali vážně možnost daleko schopnějších entit, rozhodně nemusíme upínat zrak k náboženským naukám o všemocnosti Boží. Stačí se podívat do historie vývoje naší planety a uvidíme, že schopnější druh vytlačil ty méně schopné. Představa, že se člověku nic takového stát nemůže a že lidstvo je nějak chráněno před schopnějšími entitami, je – slovy klasika – poněkud mytická.
Možná by Petr Koubský i uznal, že lidstvo nemá dominantní postavení na Zemi nijak zaručené a možná jednou bude vytlačeno schopnějšími druhy. Jenže tím schopnějším druhem možná podle Koubského nemůže být AI. To sice Petr Koubský neříká, ale při absenci explicitních argumentů to raději proberu.
Sázet na to, že schopnosti AI se zastaví někde pod schopnostmi lidstva, je čím dál obtížnější. Stát se to může, ale s každým měsícem pokroku v AI je to méně pravděpodobné. Schopnosti AI v hackování a programování jsou již nyní velmi blízko schopnostem lidí, či je dokonce překonávají. AI řeší klíčové matematické problémy, nad nimiž si lámaly hlavu generace matematiků. Schopnosti v mnoha dalších doménách rostou raketově a předpovědi toho, co AI rozhodně nebude umět, selhávají jedna za druhou. V některých oblastech je sice AI za nejlepšími lidmi pozadu, např. v samostatném dlouhodobém výzkumu a realizaci komplexních a vyvíjejících se strategií. Ale i v nich se AI zlepšuje měsíc od měsíce a vůbec ne pomalu. Sázet budoucnost lidstva na to, že AI rozhodně nebude výrazně schopnější než lidstvo, by bylo obrovským hazardem.
Fauly
Text Petra Koubského není bohužel zaměřen na pečlivou argumentaci proti klíčovým tezím „doomerů“. Zato je v něm opravdu hodně silných nezdůvodněných obvinění a faulů.
Například tvrdí, že „AI doomeři bývají velmi nekonkrétní, když se jich ptáte, jak bude takový konec světa podle nich vypadat.“ Když mluvíme o doomerech, naskočí každému jméno Eliezer Yudkowsky. A naskočí i Petru Koubskému, je to jeden z mála lidí, které jmenovitě uvádí. Yudkowsky spolu se Soaresem vydal minulý rok knihu „Když ji (umělou superinteligenci) někdo postaví, všichni zemřeme“. Kniha má tři části a jednu z nich autoři věnovali popisu zcela konkrétního scénáře, jak by lidstvo mohlo vyhynout. (Popis, který jsem výše uvedl, je jím inspirován.)
A Petr Koubský knihu četl. Dokonce na ni napsal recenzi. A v recenzi dost důkladně převypráví právě ten konkrétní scénář zániku lidstva. Proč tedy nyní tvrdí, že doomeři bývají velmi nekonkrétní? Před rokem o konkrétním a velmi vlivném popisu katastrofického scénáře věděl a referoval o něm!
Když se pak nad dalšími konkrétními scénáři na sekundu zamyslí kdokoli, kdo alespoň něco ví o předpovědích zkázy lidstva v důsledku AI, naskočí mu slavná studie AI 2027. V ní autoři pod vedením D. Kokotajla opět detailně popsali, jak by zánik lidstva skrze AI mohl vypadat.
Petr Koubský na AI 2027 opět napsal recenzi! A opět s detailním vylíčením konkrétního scénáře zániku lidstva podle AI 2027! Scénář pak dokonce pozitivně oceňuje. „Studie AI 2027, podepsaná pěticí kvalitních prognostiků, ukazuje přesvědčivě, jak by mohla vypadat zkáza civilizace a vyhynutí lidstva v důsledku nezvládnutého rozvoje AI.“ „Žádný krok tohoto scénáře není vysloveně fantaskní, všechny jsou uvěřitelné. Vedou k vyhubení všech lidí na planetě do roku 2035.“
Jak se stalo, že si Petr Koubský už ani nevzpomíná na tyto extrémně vlivné konkrétní popisy katastrofy a obviňuje své nynější oponenty z nekonkrétnosti?
Peníze nebo život
Petr Koubský spekuluje o motivacích lidí, kteří varují před vyhynutím lidstva v důsledku AI. O výzkumnících, kteří odešli z AI labů, aby varovali před existenčními riziky, mluví, jako by podlehli „propagandě“ cíleně šířené uvnitř těchto společností. Z AI labů přitom už odešlo v různých fázích hodně významných výzkumníků. Nezdá se, že by se po svém odchodu, konečně mimo vliv zlotřilé propagandy, nějak vzpamatovali, prohlédli a pochopili lichost svých dřívějších obav.
Před riziky AI varují i šéfové samotných AI firem, například OpenAI či Anthropicu. Petr Koubský naštěstí ví proč. Protože lidé jako Altman či Musk chtějí před investory vypadat jako tvůrci mocné technologie, a není lepší způsob, jak ukázat její moc, než tvrdit, že může zničit lidstvo! Jsou za tím jen a jen peníze. Vlastně nejen, protože Altman to sice dělá zištně před vstupem na burzu, jak vydedukoval Koubský, ale zároveň vlastně uvěřil té lži, kterou ze zištných důvodů začal říkat.
Tenhle příběh má jen drobnou trhlinku. Máme řadu doložených výroků od Altmana i Muska, v nichž varovali před existenční katastrofou kvůli AI ještě předtím, než vůbec začali v AI skutečně podnikat. Před založením OpenAI tak Altman už říkal například, že umělá superinteligence je zřejmě „největší hrozbou pro zachování existence lidstva“. A dávno před OpenAI a podnikáním v AI četl doomera Yudkowského. Tihle šéfíci tak nevarují před AI až teď těsně před vstupem na burzu, ale začali s tím před mnoha a mnoha lety, kdy ještě žádné podstatnější podnikatelské aktivity v AI neměli.
Před existenčními riziky AI nevarují jen lidé z AI labů a jejich zakladatelé, ale například i vědci, kteří nikdy pro OpenAI či Anthropic nepracovali. Třeba nejcitovanější vědec světa a kmotr AI Yoshua Bengio. Ten je také obětí konspirace? Nebo je spíš konspirací hledat za nespočtem lidí a výroků o existenčních rizicích tajemné spiknutí boháčů, kteří vytvořili mýtus zlovolné AI a proti běhu času jej rozšířili mezi ubohé nobelisty a jiné prosté mysli.
Možná by stálo za to přijmout, že se ti všichni vědci, výzkumníci a odborníci na AI safety opravdu obávají technologie, kterou často pomáhali přivést na svět. A místo hledání náboženských motivů si jejich argumenty skutečně připomenout, nedělat z jejich pozice slaměného panáka, ale pokusit se s ní poctivě vyrovnat.
Když totiž Petr Koubský udělal právě toto v případě studie AI 2027, nakonec sám rád musel uznat, že na těch existenčních obavách asi leccos bude.
21. 9. 2026
