Published: 13.04.2026
Příspěvek je převzat z facebookového blogu Ondřeje Krásy Budoucnost s AI. Od začátku roku 2026 blog publikujeme paralelně i na stránkách FF.
Už nějakou dobu jsem nepsal o tom, co dělat. Dnes tedy trochu opáčko!
Mýty a legendy
Vývoj stále schopnějších systémů běží zběsile rychle (a ta rychlost se ještě zvyšuje). Minulý týden třeba představil Anthropic nový model. A zdá se, že nás chtějí vyděsit už samotným názvem – jmenuje se Mythos.
Jak schopné tohle nové AIčko je? Podle benchmarků hodně, zvítězilo snad ve všech. Ale protože je i nesmírně schopným hackerem, Anthropic ho nedá k dispozici běžným smrtelníkům. Mohli by hacknout internet, Windows i národní banku najednou!
Mythos tak má k dispozici jen malá skupinka provozovatelů digitální kritické infrastruktury, aby s jeho pomocí vyztužili své systémy. Tahle AI totiž objevila bezpečnostní díry, které ani v těch nejstudovanějších systémech nikdo jiný neobjevil.
Teda nikdo. Vzápětí se ukázalo, že podobné typy chyb dokážou najít i jiné AI modely. Několik měsíců staré a mnohem menší. Jak to? No, ty menší to dokážou, když mají okolo sebe spoustu nesamozřejmých udělátek (říká se tomu harness nebo scaffolding). Když někdo fakt umí AI obléct do hackovacích šatů a dát jí hackmobil, i relativně blbé a malinkaté modely dokážou strašně nebezpečné věci. Co zvládne Mythos bez hackovacího exoskeletonu, zvládnou malé modely minulé generace zapřažené do superspecializovaných postrojů.
A na tom se hezky ukazuje, jak nepředvídatelné schopnosti AI jsou. Nikdo netuší, co všechno AI dokáže ještě řadu měsíců po vydání. Někdy na to přijdeme díky specializovaným labům, které si dají spoustu práce, aby z AI vymáčkly vše, co v ní je. Mnohdy ale skutečné schopnosti AI zůstanou skryté, neboť nikdo (zatím) nezkusil, co by se stalo, kdybychom dali AI k dispozici tenhle nástroj a propojili ji právě tímto způsobem.
Řekněte ne superinteligenci!
Existuje jeden docela široký konsensus. Stvořit umělou superinteligenci by bylo strašlivě nebezpečné. Stvořit něco, co je inteligentnější než lidstvo jako celek, by znamenalo předat běh světa právě této nové superinteligentní entitě.
A před stvořením této ASI (Artificial Super Intelligence) varují nobelisté, nejcitovanější vědci i lidé zkoumající bezpečnost AI. A dokonce i mnozí z šéfů těch firem, které samy AI vyvíjejí.
Proč? Protože fakt neumíme zajistit, aby superinteligentní AI jenom vyléčila rakovinu a konečně zprovoznila fúzní reaktory. ASI bude bohužel dělat i spoustu nečekaných věcí. A bude měnit svět i podle těchto podivností. A stejně jako se dnes leckdy programátoři marně snaží udržet programovací agenty v přesně stanovených mezích, budeme i my běhat za AI a chatovat si s ní, že tohle jsme si přece nedomluvili.
Smlouvy a nic než smlouvy
Tak teda nemáme stvořit umělou superinteligenci. Jak na to?
Nikdo bohužel nepřišel na nic lepšího než na mezinárodní dohodu. Ono je totiž jedno, kdo ASI stvoří. Ať už ji stvoří kdokoli a kdekoli, asi to bohužel nepřežijeme. Je to smutné, ale tohle je opravdu závěr mnohých velmi seriózních výzkumů na tohle téma. If anyone builds it, everyone dies!
Možná byste doufali, že má někdo nějaký plán B. Někde v hloubi amerického bezpečnostního aparátu, čínské tajné služby, v AI laboratoři na MIT, v OpenAI či Googlu mají jistě plán, jak nezničit svět. Že jo! Určitě ho mají, jo!
Tak smůlička. Nikdo žádný plán hodný alespoň Royových nejmenších brýlí nemá. Fakt nula. Zero. Nil. Nejlepší plány vypadají zhruba tak, jako bychom uran nejdřív obohatili na 5 % a ukázali ho světu s tím, že tohle je přeci bezpečné (GPT-3). Pak zkusili 10 % a zase zajásali, že to světu vlastně spíš pomáhá, než škodí (GPT-4). A když už svět zvládl 15 % (GPT-5), je připravený i na 30 %. A když zvládne 30 %, zvládne asi i 90 %. Vždyť jsme svět na příchod umělé superinteligence přeci připravili tím, že jsme zvládli bezpečně nasadit GPT-5.4 Pro (říká se tomu iterative deployment).
Jakkoli tedy mezinárodní smlouva o nestvoření umělé superinteligence zní divoce, je to jediný návrh, který dává skutečně smysl. A naštěstí ho různí lidé promýšlejí detailně. V komentech najdete odkaz na zcela konkrétní návrh takové dohody, s podrobným výčtem precedentů a poznámkami.
Tak jako jsme zvládli prostřednictvím smlouvy o nešíření jaderných zbraní zabránit jadernému armagedonu, mohli bychom zvládnout nezničit civilizaci přivoláním křemíkových démonů. Není to zase tak nadlidský úkol. Zvládli jsme porazit Hitlera, a to bolelo mnohem víc než upřít si uvedení nových modelů.
A kdybyste svět chtěli před silikonovými božstvy chránit, můžete se zapojit třeba do Pause AI CZ!
13. 4. 2026
















































































