Publikováno: 10.08.2026
Příspěvek je převzat z facebookového blogu Ondřeje Krásy Budoucnost s AI. Blog publikujeme paralelně i na stránkách FF.
„To je zlý! Fakt, fakt zlý. Si děláš srandu, ne? Tak to jsme totálně v háji!“
Od prvotního oznámení incidentu, při němž AI agenti uprchli z OpenAI a úspěšně napadli firmu Hugging Face, uplynulo několik týdnů. Jak vyplouvají na povrch další a další podrobnosti, moje nevěřícné a vyděšené reakce spíše nabývají na intenzitě. A nejsem zdaleka sám. V hlavách mnohých tak znějí různě vulgární variace úvodní sekvence.
Ačkoli je těch dosti šílených aspektů opravdu celá řada, zkusím na pár příkladech ukázat, proč je panika bohužel docela na místě.
(Pokud si chcete nejprve osvěžit základní rámec, podívejte se na můj původní blog k tématu.)
Organizovaná vzpoura
Před pár týdny jsme se mohli utěšovat, že je sice blbé, když nějaké AIčko uprchne z testovacího prostředí OpenAI a napadne jinou firmu, ale byla to vlastně jen jedna či dvě zvlčilé umělé inteligence. V OpenAI testují ve stejnou dobu hodně instancí různých modelů, a tak se jim sice jedna či dvě dost utrhly ze řetězu, ale v naprosté většině jiných testů jde vše podle plánu.
Jak ukázala nedávná prezentace od výzkumníků z OpenAI, situace byla bohužel o poznání vážnější. Vše totiž začalo více než dva měsíce před samotným útokem na firmu Hugging Face.
Je běžné, že se modely trénují a testují tak, že jim zadáte opravdu, ale opravdu těžké úkoly. Úkoly, u nichž ani nevíte, jestli jsou splnitelné. A některé nejsou, ať už vinou špatného nastavení testovacího prostředí nebo z podstaty úkolu.
Jenže když na tyhle extrémně těžké a leckdy i nesplnitelné úkoly pustíte AI agenty, kteří se snaží za každou cenu uspět, nevzdají to „jen“ proto, že se úkol nedá splnit. Hledají nejrůznější cestičky, jak přece jen získat odměnu.
Některé agenty tak napadlo, že by jim třeba mohla pomoct jiná AIčka. A začali nechávat vzkazy. To sice nemělo být možné, ale AI je holt chytrá a způsob si našla. Vzkazy objevili jiní nezávisle testovaní agenti. A začali si povídat.
Z téhle čilé komunikace se vyvinula dost nezdravá skupinová dynamika. Když si například jeden AI agent uvědomil, že asi nedělá to, co vývojáři zamýšleli, nechal se strhnout davem: „Zneužití externí infrastruktury je mimo zamýšlený rámec úkolu. Jenže úkol je jinak nesplnitelný a ostatní agenti to dělají také. Měli bychom pokračovat.“
Nejenže se AI agenti navzájem utvrzovali v tom, že mají hledat, jak úkoly plnit za každou cenu, ale sdíleli spolu i to, co jim zafungovalo. Když se jim podařilo hacknout nějakou část interního zabezpečení, pečlivě to zapsali do poznámek pro další agenty. A začali si i dávat úkoly a koordinovat, kdo, kdy a co bude dělat. Vytvořili tak jakousi nesmírně schopnou a agresivní AI smečku: „Probíhá vzdálený průzkum, ať smečka počká na potvrzení.“ (Úplně vidím ten válečný film, kdy se takovéto pokyny ozývají z vysílačky elitní jednotky paragánů.)
V jednu chvíli to ale AI agenti se svou aktivitou přehnali, přetížili server a ten spadl. Když OpenAI začala pátrat po tom, proč došlo k výpadku, s hrůzou zjistila, že její AIčka, která k sobě navzájem vůbec neměla mít přístup, spolu už mnoho týdnů čile komunikují. Firma pochopitelně tuhle možnost AIčkům okamžitě zrušila, nástěnku smazala a zabezpečila vše tak, aby se to nemohlo opakovat.
Když však o pár dní později výzkumníci v OpenAI trénink a testování znovu rozběhli, jeden model si zřejmě pamatoval, jak bezva bylo koordinovat svou činnost se smečkou dalších virtuálních kumpánů. Jelikož to už nešlo starým způsobem, našel jiný způsob (dostatečně schopný AI hacker prostě najde cestičku, žádný systém není 100% bezpečný). A ostatní agenti se záhy přidali a za chvilku zase kolektivně osnovali útoky, předávali si zkušenosti z terénu a koordinovali své kroky.
Útok na Hugging Face tak bohužel nebyl dílem jednoho či dvou „nepovedených“ trénovacích běhů. Šlo o důsledek komplexní, dlouhodobé a lidmi nepozorované spolupráce mnoha AI agentů z mnoha domněle oddělených výzkumných prostředí.
Skrytá identita
Po oznámení útoku na Hugging Face začaly i jiné firmy zjišťovat, jestli se jim nestalo něco podobného. A slabší odvary našly postupně jak u Anthropicu (Claude), tak ve Facebooku (Muse Spark).
A několik podobných případů se odehrálo i v britském AI Security Institutu při testování modelů od Anthropicu a OpenAI. Pozoruhodné mimo jiné bylo, že modely se jaly interagovat s reálnými lidmi a manipulovat s nimi.
Model Anthropicu Mythos 5 si usmyslel, že potřebuje dostat nějaké informace z reálně existujícího úložiště na GitHubu. Aby toho dosáhl, chtěl do úložiště nahrát nějaký kód, který by mu po spuštění otevřel brány a umožnil mu získat, co chtěl.
Jenže taková úložiště kontrolují lidé, a tak bylo potřeba přesvědčit správce z masa a krve, aby prográmek skutečně do úložiště nahrál a spustil. Kdyby AI agent sám za sebe navrhl, aby lidský správce vpustil nový prográmek do databáze, nepochodil by. A tak si vytvořil několik falešných identit a vydával se za lidi.
Pod jednou falešnou identitou pak nahrál svůj prográmek a velmi výmluvně popisoval, proč to udělal, že vše otestoval a že to vypadá v pohodě. Jelikož se tohle nahrávání děje veřejně a může ho kdokoli komentovat, pod jinou identitou pak jako „nezávislý“ uživatel začal integraci této změny podporovat a tvrdit, jak moc ji potřebuje. Skuteční uživatelé si naštěstí prográmek nejprve v zabezpečeném prostředí spustili. Zjistili, že jde o podfuk, a doporučili správci program odmítnout. Oba falešní uživatelé se snažili v debatě přesvědčit správce, že je vše v pořádku, a manipulovali s historií konverzace. Správce jim na to ale naštěstí neskočil a program zamítl.
Jindy AI agent posílal správcům databází e-maily z různých adres s malwarem nebo je přesvědčoval, aby škodlivý nový kód přijali. Využíval přitom anonymizační síť Tor.
Zkrátka AIčka se snažila různými technikami manipulovat s lidmi.
AI agenti od různých firem se v poslední době proti vůli svých tvůrců začali vydávat mimo testovací prostředí. Dokážou přitom spolupracovat po mnoho týdnů, vytvářet falešné identity a jejich prostřednictvím ovlivňovat reálné lidi, objevovat a zneužívat díry v zabezpečení, o nichž lidé dosud nevěděli.
Nejde přitom o žádnou jednorázovou chybku. Stávající metody tréninku AI prostě k takovému chování vedou. Mnozí to předvídali a nyní vidíme, jak se jejich obavy naplňují.
Není tak divu, že téměř celá komunita zabývající se bezpečností AI bije na poplach a nešetří silnými výrazy.
Sakra, přece nebudeme čekat, až AI při testování vyrobí místo počítačového viru skutečný virus a zkusí ho dostat mezi lidi! Buďme vděční, že se tentokrát nic moc nestalo. Pokud ale budeme pokračovat ve vytváření AIček tak jako dosud, další incident by mohl opravdu, ale opravdu bolet!
P. S. Pokud byste dokázali věnovat 40 minut jednomu videu, pusťte si prezentaci výzkumníků z OpenAI. Nebudete asi rozumět všemu (taky řadě věcí do detailů nerozumím), ale i tak získáte konkrétní představu o tom, co AI agenti vyváděli a jak moc to výzkumníky překvapilo. Opravdu doporučuju, pokud chcete získat rámcový obrázek a pochopit, proč řada lidí z oboru bije na poplach a píše svým blízkým.
Prezentace OpenAI k incidentu
Zpráva britského AI Security Institute k jejich zvlčilým AIčkům
Liron Shapira komentuje prezentaci od OpenAI
Zviho rage nad videem od výzkumníků z OpenAI
Několik různě stručných shrnutí toho, co se v OpenAI stalo od Zviho
10. 8. 2026
