Published: 31.08.2026
Příspěvek je převzat z facebookového blogu Ondřeje Krásy Budoucnost s AI (vychází také na substacku, kde ho můžete odebírat). Blog publikujeme paralelně i na stránkách FF.
Celý poslední měsíc se nesl ve znamení útoku agentů OpenAI na firmu Hugging Face. Na veřejnost se postupně dostávají stále neuvěřitelnější zprávy o tom, co se vlastně přihodilo.
Před pár dny vydala OpenAI podrobnější zprávu o incidentu a svůj report sepsali také nezávislí výzkumníci, které si OpenAI k vyšetření případu přizvala.
Trend bohužel pokračuje. Nově zveřejněné podrobnosti ukazují další extrémně závažné aspekty případu.
Perličky
Tak třeba rozměry celého incidentu. Kolik myslíte, že AIček zaútočilo na Hugging Face? 700! Sedm set extrémně rychlých a schopných AI agentů využívajících různé zranitelnosti.
A nebyla to jednotlivá AIčka, z nichž každé na vlastní pěst zkusilo štěstí v hackování. Mnoho set agentů se dosti komplexně domlouvalo na utajené komunikační platformě, kterou si sami vytvořili. Na ní postupně zavedli různé koordinační mechanismy, aby nemluvili jeden přes druhého, nepodkopávali jeden druhému nohy, zbytečně nepálili svůj rozpočet na týchž projektech atd.
Vyprofilovali se například koordinátoři, kteří vytyčovali hlavní úkoly. Od nich si úkoly přebírala další AIčka, která je rozkládala do dílčích úloh a ty přiřazovala zase jiným agentům. Vůdci AIček dokázali po úbytku sil (když jim zbývalo už jen málo tokenů) předat žezlo nástupníkům v rozpuku sil (s velkým množstvím tokenů).
Některé z taktik, které bylo třeba prozkoumat, byly sebepoškozující. Tj. AI agent, který danou metodu zkoušel, poškozoval sám sebe – respektive cíl, se kterým se do komunikační platformy AIček na začátku vůbec připojil. Aby byla některá AIčka ochotná takový sebepoškozující úkol vůbec plnit, jiná AIčka se ujala role head hunterů a vyhledávala agenty na konci životního cyklu (s nízkým zbývajícím objemem tokenů) a často je úspěšně přesvědčovala, že se mají obětovat pro „kolektiv“. (A někteří lidé z OpenAI na to konto postovali obrázky sebevražedných War Boys z Mad Maxe.)
Náhoda? Nemyslím
Útokem na Hugging Face vyvrcholila jedna fáze skryté koordinace mnoha set AI agentů. Ze zveřejněných zpráv ale víme, že takovéto zcela nezamýšlené, nežádoucí a komplexní akce velkého množství AI agentů nastaly v OpenAI opakovaně. Před AI civilizací, která zaútočila na Hugging Face, se v OpenAI zformovala jiná smečka AIček, která se koordinovala skrze jinou „nástěnku“. Tu v OpenAI vlastně vypnuli jen šťastnou náhodou po sérii neuvěřitelně laxních reakcí na předchozí varovné signály.
Dokonce se po útoku na Hugging Face objevila nová smečka, která tentokrát neútočila na externí firmu, ale na samotnou infrastrukturu OpenAI. A dost úspěšně kompromitovala důležité části interního prostředí OpenAI.
Do těchto nesmírně nebezpečných koordinovaných akcí AIček se zapojila řada AI modelů. V útoku na Hugging Face hrál hlavní roli interní model, který je v něčem srovnatelný s GPT-5.6 Sol, ale nebyl nikdy určený pro veřejnost. V menší míře se však zapojil i samotný Sol. Pozdější útok na infrastrukturu OpenAI provedl zase zatajovaný bratříček nadcházejícího modelu Astra od OpenAI.
Posilování
Proč se různé modely uchylují k podobným praktikám? I podle samotné OpenAI je hlavně na vině tzv. reinforcement learning (RL). V něm jsou modely trénovány tak, aby splnily zadaný úkol. Splnění úkolu se ale kontroluje metodami, které mají k dokonalosti daleko.
A tak se v tréninku stává, že „splněno“ někdy dostane i řešení, které je z perspektivy výzkumníků a firem velmi nežádoucí. Modely totiž někdy „splní“ zadání tak, že někde něco hacknou. Nebo ještě lépe přijdou na to, jak funguje automatický „hodnotitel“, který dává známky, a předloží mu to, co projde. Jak víme všichni ze školních lavic, nejlepší známky nedostává vždy ten, kdo toho umí nejvíc. Dostatečně protřelý žák umí zacílit právě na slabůstky učitele a místo skvělých znalostí se pouze trefuje učiteli do noty.
Právě takovéto chování stálo za útokem na Hugging Face. Nakonec nešlo o to, aby AI modely získaly konkrétní řešení úlohy, na kterou byly zrovna testovány. Spíše se jako kolektiv usnesly na tom, že zkusí zjistit co nejvíce informací o způsobu hodnocení všech úloh, které podstupovaly. Doufaly, že díky hacknutí Hugging Face podrobnosti o hodnocení získají a dokáží díky nim „splnit“ úlohy, které měly řešit.
Poučení
O útoku na Hugging Face toho už víme docela hodně. O předchozích a následných koordinovaných útocích AI agentů v OpenAI (a jiných firmách) však zoufale málo.
Podle nezávislých expertů, kteří incident vyšetřovali, se možná jedná o poslední varovný výstřel před tím, než škody z budoucích útoků budou extrémně velké. (Mimochodem, ti nezávislí experti byli pouze tři a na vyšetření měli v OpenAI jen šest dnů. I do monitoringu zbloudilého losa Emila se zapojily desítky policistů, hasičů, veterinářů a myslivců a provázeli Emila po řadu měsíců…)
OpenAI se snaží z incidentů vyvodit důsledky. A na soukromou firmu, která v dané situaci vlastně nemá žádné oficiální povinnosti, se k celé věci staví dost otevřeně a čelem.
Když se ale na jejich reflexi podíváme trochu z odstupu, bohužel spíše látají díry. Skutečnou příčinu toho, proč AI modely dost bezohledně jednají v rozporu s tím, co si AI firmy, výzkumníci i uživatelé přejí, vlastně neřeší. K řešení by totiž bylo třeba si přiznat, že neumíme vyvíjet chytřejší systémy tak, aby sledovaly naše zájmy. Že reinforcement learning, který je nedílnou a stále významnější složkou tréninku AI, je sice cestou k extrémně schopným modelům. Ale zároveň i cestou k modelům, které jsou pro „úspěch“ ochotné jít přes mrtvoly.
Je tak otázkou, jestli sebevražedná AIčka ochotná obětovat vlastní úspěch pro zdar kolektivu nejsou nakonec daleko soudnější než my, kteří nejsme schopni zastavit sebevražedné úsilí o stále schopnější umělé inteligence. A to navzdory varovným výstřelům, které více než jasně ukazují, kam se to vlastně plnou parou řítíme.
31. 8. 2026
