Published: 26.10.2026
Příspěvek je převzat z facebookového blogu Ondřeje Krásy Budoucnost s AI (vychází také na substacku, kde ho můžete odebírat). Blog publikujeme paralelně i na stránkách FF.
Necelé dva roky píšu a v poslední době i natáčím víceméně každý týden zprávy o umělé inteligenci. Jenže čím dál častěji se mi píše obtížně. A rád bych dnes zkusil popsat, proč.
Důvody klamné a skutečné
Informovat o dění v AI bezpečnosti nebývá příliš povzbudivé. Děje se toho hodně, o tom žádná. A věci se vůbec nevyvíjejí dobrým směrem. Pro zprávy o nebezpečnosti této technologie by tak měla být zlatá doba.
Jenže o čem a jak psát? Kdybych měl dojem, že musíme lépe porozumět hrozbám AI, informoval bych dnes třeba o čerstvé zprávě britského AI Security Institute. Podle tohoto výzkumu mají AI modely značnou tendenci racionalizovat své špatné chování, a tak se obrana stále méně může spoléhat na naši schopnost číst jejich „myšlenky“ (tzv. CoT). V těchto „myšlenkách“ se totiž nic špatného nestalo, i když AI ve skutečnosti vytvořila falešné identity a vyvíjela tlak na reálného člověka, aby do softwarového projektu přijal škodlivý kód. Jen si ve svém vnitřním dialogu zdůvodnila, že šlo pouze o test, a nikoli o skutečné lidi (jenže o skutečné lidi šlo a AI měla více než dost informací, aby to moc dobře věděla).
Snad podobné racionalizaci nepodlehnu i já, když se teď pokusím vysvětlit své problémy s psaním.
Plíživá změna
Hlavní ingrediencí je nedostatek času. Ne času na psaní. Ale času, který nám jako lidstvu zbývá. Kolik ho ještě máme? Popravdě nevím, ale reálně hrozí, že o budoucnosti bude rozhodnuto během několika málo měsíců.
Jak si představit okamžik, ze kterého už nebude návratu? Ne jako náhlou apokalypsu. Půjde spíše o dobu, kdy lidstvo ztratí schopnost usměrňovat vývoj stále schopnějších AI systémů. Ať už proto, že AI pronikne příliš hluboko do kritických struktur společnosti a každý krok proti ní by už příliš bolel. Nebo proto, že vývoj AI bude záviset téměř výhradně na samotné AI, která bude navrhovat výkonnější verze sebe sama. Nebo proto, že se AI stane dostatečně strategickou, aby nebudila zbytečná podezření, a zároveň dostatečně schopnou organizovat lidskou činnost a manipulovat lidmi i okolním světem ve prospěch svého dalšího vývoje.
Okamžiku, ze kterého už není návratu, si nemusíme vůbec všimnout. Důsledky mohou být patrné až se zpožděním roku, dvou či tří. Ale o budoucnosti už bude rozhodnuto. Jen nám to zatím nedocvaklo.
Existuje celá řada zpráv, které by nás měly znejistět, na kterém břehu tohoto Rubikonu vlastně stojíme. Asi nejznepokojivější jsou informace o tom, že interní modely AI společností jsou o parník schopnější než ty veřejně dostupné. Tak tomu ovšem v jistém smyslu bylo vždy.
Jenže dnes jsou extrémně schopné i veřejné modely a není vůbec jednoduché přijít na to, co vlastně ještě neumějí. Z mnoha stran navíc přicházejí informace o interních modelech, které transformují celé vědecké obory (například matematiku), dokážou se vyhackovat i ze superzabezpečených tréninkových prostředí, o napadání základní IT infrastruktury nemluvě. A AI výzkumníci zkracují své odhady, kdy je jejich vlastní výtvory nahradí při vývoji dalších generací AI. Moje naděje, že snad máme ještě pár let na změnu kurzu, tak podstupuje tvrdé zkoušky.
Čas zvažovat a čas jednat
Zkrátka víme toho až příliš mnoho na to, abychom mohli dál dělat jen to, co doposud. Jasně, i mezi odborníky na AI bezpečnost se vede mnoho sporů. Nicméně ty „zajímavé“ se týkají spíš toho, jestli nás zabijí autonomní zbraňové systémy řízené AI, nebo skončíme v pozici jatečních krav, o jejichž osudu budou rozhodovat AI burzy, anebo nás AI postupně vytlačí za okraj ekonomické i politické relevance a my zemřeme na nedostatek základních potřeb, protože civilizaci umělých inteligencí budeme ukradení.
Jakkoli mě stále trochu zvrhle těší sledovat další zprávy o průšvizích ve světě umělé inteligence, je zjevné, že se okno příležitosti pro účinné jednání rychle zavírá. Pokud se lidstvo neodhodlá k razantní změně kurzu nyní, může být opravdu už během pár měsíců vymalováno.
Před pár lety jsem velmi intenzivně sledoval vývoj pandemie covidu a posléze napadení Ukrajiny. Nenechávaly mě chladným ani události ve světové či domácí politice. Chodil jsem na demonstrace, debatoval a angažoval se.
Tváří v tvář rizikům, která přináší AI, se mi však všechny ostatní problémy jeví jako druhořadé. Pokud bezprostředně hrozí protržení gigantické hráze vysoko nad městem, opravdu není rozumné věnovat většinu energie prevenci krachu místní kampeličky a potrestání výtržníků, kteří včera šikanovali skupinu školáků.
Bohužel jsme v situaci, kdy většina lidstva o přehradě ani neslyšela, a pokud ano, masivním prasklinám v hrázi stejně nevěří.
Namísto horečných snah o vyztužení hráze řešíme nedostupnost akutní péče pro oběti dopravních nehod. Důležité téma. Jenže protrženou hráz nepřežijeme ani s robustním zdravotnickým systémem.
Připadám si jako někdo, kdo píše o nových měřeních trhlin v přehradní hrázi. Jenže ta se do pár měsíců nejspíš fakt protrhne! A my pořád dokolečka řešíme, jestli voda dorazí o pár desítek sekund dřív na západní předměstí, nebo na sever města. Je nejvyšší čas přestat jen popisovat hrozící katastrofu a pustit se do oprav.
26. 10. 2026
