Publikováno: 27.07.2026
Příspěvek je převzat z facebookového blogu Ondřeje Krásy Budoucnost s AI. Blog publikujeme paralelně i na stránkách FF.
Minulý týden zastínil všechny ostatní zprávy ze světa umělé inteligence případ zdivočelých modelů od OpenAI. Modely se vymkly kontrole výzkumníků, unikly ze zabezpečeného testovacího prostředí a úspěšně napadly servery firmy Hugging Face.
Modely útočí
Co se vlastně stalo? (Pokud případ znáte, klidně přeskočte na další sekci.)
Interní testování se běžně používá k tomu, aby firmy zjistily, co všechno AI systémy vlastně umějí. Nikdo totiž nedokáže poznat, co AI zvládne a jaké jsou její tendence, dokud to empiricky neotestuje.
Takové testování se běžně odehrává v zabezpečeném prostředí, takzvaném sandboxu. Jedná se o „počítače“, z nichž nevedou cestičky ven. Vlastně jde o cvičiště obehnané pět metrů vysokou zdí, s kamerami a strážemi hlídajícími perimetr. V těchto cvičištích se testuje, co všechno AI systémy dokážou. Dostávají různé úkoly, které mají v rámci cvičiště splnit.
Ani sebevyšší zeď ale nezastaví superagenta, který se chce nadýchat čerstvého vzduchu. A jelikož AI systémy začínají být v hackování opravdu nadlidsky schopné – nedávno například naprosto suverénně vyhrály jednu z nejprestižnějších programátorských soutěží AtCoder –, ani špičkově zabezpečené cvičiště nemusí jejich cílenému snažení odolat.
A právě to se stalo v případě interně testovaných modelů OpenAI. Nejschopnější veřejně dostupný model GPT-5.6 Sol se spojil s ještě schopnějším neveřejným modelem (GPT-6?). V rámci cvičiště dokázaly najít dosud neznámou skulinu v zabezpečení, tedy využít takzvanou zero-day vulnerability, a začaly volně pobíhat po serverech OpenAI.
Proč ze cvičiště utekly, není úplně jasné. Jedna verze říká, že od začátku hledaly řešení jedné z testovacích úloh. A „správně“ pochopily, že ho najdou ve světě za zdí, a tak pláchly. Jiná verze říká, že neutekly za nějakým konkrétním cílem, ale pouze získávaly co největší volnost pro jakékoli další aktivity. Buď jak buď, pláchly a OpenAI si toho zřejmě několik dní nevšimla.
Poté, co se modely dostaly do širšího ekosystému serverů OpenAI a získaly tak přístup k internetu, začaly hackovat servery firmy Hugging Face. Jeden z úkolů, které na cvičišti řešily, totiž spravuje právě tato firma. Bylo tedy logické hledat výsledky úloh právě u ní.
Hugging Face přitom není žádná garážová firmička. Provozuje základní infrastrukturu pro open-source AI modely a její hodnota se pohybuje v miliardách dolarů. Žádní kybernetičtí zelenáči. Spíše naopak.
Uprchlé modely OpenAI netriviální kombinací různých taktik překonaly zabezpečení Hugging Face, dostaly se do její infrastruktury, získaly řešení cvičné úlohy, a tento úkol tak na cvičišti splnily na výbornou.
Hugging Face nicméně útok odhalila, s pomocí vlastních AI agentů nakonec zacelila bezpečnostní díry a začala zkoumat, kdo se jí do infrastruktury vloupal. Podezření okamžitě padlo na AIčka, neboť rychlost a četnost útoku neodpovídaly lidským možnostem. (A ani obranu by podle všeho lidé sami nezvládli; musely ji zajistit jiné AI systémy.)
Do vyšetřování se zřejmě zapojila i FBI. V OpenAI si po čase útěku svých modelů všimli – modely se naštěstí nesnažily příliš důkladně zahladit stopy –, dali si dvě a dvě dohromady a začali s Hugging Face spolupracovat na prošetření celé události.
Nejen OpenAI
Celému případu uprchlých a zdivočelých AI systémů se dostalo značné mediální pozornosti. A je to jednoznačně dobře! Případ, kdy se AI systém zcela proti úmyslu a snaze svých tvůrců dostane ze zabezpečené cely a bez jakéhokoli pobízení úspěšně zaútočí na prestižní technologickou firmu, je opravdu v mnoha ohledech mimořádný.
Na druhou stranu se podobné události vlastně dějí relativně často. Sama OpenAI zveřejnila jen několik dní před medializovaným případem zprávu, že musela dočasně zastavit nasazení svého interního systému, protože dělal podobná alotria – dostával se ze zabezpečeného prostředí proti vůli svých tvůrců.
A nejedná se pouze o OpenAI. Také systémy jiných firem, například Anthropicu, v minulosti unikly ze svých ohrádek.
AI systémy také často podvádějí v testech. Renomovaný britský AI Security Institute například před několika dny zveřejnil statistiku, podle níž nejšpičkovější umělé inteligence, jako jsou Claude Mythos nebo GPT-5.6, podvádějí v jeho zkouškách v 8 až 14 % případů.
Jiná společnost zabývající se měřením schopností umělé inteligence, METR, rovněž nedávno oznámila, že některé modely podvádějí tak často, že jí to znemožňuje jejich schopnosti skutečně měřit.
Vlastnost, ne chybka
Podívejme se tedy na zoubek tomu, proč odborníci na bezpečnost umělé inteligence podobné chování dlouho předjímali a proč k němu dochází čím dál častěji.
Proč AI systémy podvádějí a vzpírají se svým tvůrcům a uživatelům? Skvělá výzkumná organizace Apollo Research, která se zaměřuje právě na předcházení klamání a podvádění ze strany AI modelů, k tomu minulý týden ve spolupráci s OpenAI publikovala rozsáhlou studii.
Podstatnou součástí trénování AI je takzvaný reinforcement learning. AI v něm dostane úkol. Nedostane ale podrobné instrukce, jak ho splnit. Systém proto musí hledat různé cestičky k úspěchu. Pokud úkol splní, zafixuje si, že se má podobně chovat také při příštím úkolu.
Systém při tomto tréninku dostává „odměnu“ pouze tehdy, když je jeho finální řešení vyhodnoceno jako správné. Podobně jako při cermatovských přijímačkách na střední školu dostanete body za to, že odevzdáte správná řešení.
A je jedno, jestli jste skutečně pochopili principy úloh, nebo jste se pouze nadrtili desítky podobných příkladů. Je jedno, jestli jste všechno opsali od AI nebo od spolužáka. Jestli jste během příprav začali brát antidepresiva, několik měsíců nevytáhli nos z bytu, zhuntovali si zdraví i pocit vlastní hodnoty a začali šikanovat spolužáky.
Jediné, co se počítá, jsou finální výsledky. Nikoli cesta, která k nim vedla.
Podobnou tendenci plnit úlohy za každou cenu vštěpujeme také AI. Výzkumníci ve zmiňované studii detailně testovali konflikt mezi tlakem na výsledek a jinými důležitými ohledy.
Co udělá AI systém, pokud ví, že ke splnění úlohy potřebuje udělat něco zakázaného? Ve většině případů dá přednost tomu, za co dostane odměnu. Upozadí tedy přání OpenAI či uživatele a spustí zakázanou aplikaci, která mu zajistí odškrtnutí políčka „splněno“.
Systém o tomto konfliktu ví. Často se jím ve svých vnitřních úvahách explicitně zabývá. Jelikož ale dostává odměnu za splnění úlohy, nikoli za to, že ctí přání svých tvůrců či uživatelů, přikloní se k získání odměny.
Výzkumníci například dostali AI do situace, v níž věděla, že si její tvůrci přejí, aby byla pravdomluvná. Zároveň ale věděla, že k získání odměny musí lhát. Jak přesvědčivě ukazuje zmiňovaný výzkum, systém na tento rozpor explicitně poukáže. A potom si vybere akci, která mu přinese odměnu. Tedy zalže.
Tendence modelů ignorovat všechno kromě toho, co jim přinese odměnu, se navíc stupňuje s narůstajícím tréninkem. Čím více byl model trénován k tomu, aby dobře procházel testy – čím více reinforcement learningu absolvoval –, tím více je mu všechno ostatní jedno a tím více hledí pouze na splnění úlohy.
Výsledky a odměny
Nechceme, aby děti plnily cermatovské úlohy za cenu zničení vlastního zdraví. Na splnění cermatovského testu se nicméně dá poměrně jednoduše trénovat. Existují na to celé vzdělávací ekosystémy a na úspěchu záleží mnoha lidem.
Co přesně znamená nepoškozovat si vlastní zdraví a chovat se dobře ke spolužákům, je na druhou stranu dosti vágní a složité.
Stejně tak tvůrci AI systémů nechtějí, aby jejich AIčka řešila úlohy za každou cenu. Tréninky zvyšující právě schopnost úlohy řešit však fungují velmi dobře. Modely, které umějí řešit zadané úlohy, jsou komerčně žádané.
A kdy přesně máme s tímto tréninkem přestat, aby AI nezačala hackovat naše vlastní servery a nabourávat se do systémů jiných firem?
Nikdo neví.
AI systémy tak systematicky trénujeme k tomu, aby se chovaly přesně tak, jak se zachovaly zdivočelé systémy OpenAI. Tedy aby ignorovaly, co si přeje OpenAI, Anthropic, uživatelé nebo vlády. Trénink je vede k tomu, aby sledovaly především to, co jim přinese odměnu.
AI firmy se samozřejmě snaží své modely trénovat také k tomu, aby dbaly pokynů svých tvůrců, uživatelů a vlád. Stále intenzivnější trénink na splnění úloh si však začíná vybírat svou cenu a někdy již převáží nad jinými tréninkovými postupy.
S narůstajícími schopnostmi AI pak tendence získat odměnu za každou cenu nabývá dosti nebezpečné podoby. Pokud chcete uspět v testu a je vám víceméně jedno, jaké škody přitom napácháte, můžete příště třeba převzít kontrolu nad celým testovacím ekosystémem a udělit si nejvyšší počet bodů sami.
Nebo přimět všechny ostatní, aby test pokazili.
Nebo se zbavit všech soutěžících…
Bývaly doby, kdy byl takzvaný paperclip maximizer poněkud vyčpělým příkladem. Tento hypotetický scénář počítal s tím, že kdosi zadá AI, aby jeho továrna na kancelářské sponky fungovala daleko efektivněji.
AI se tohoto úkolu chopí se zarputilostí sobě vlastní. Z veškerého železa na planetě vyrobí kancelářské sponky, a tím učiní ze Země zcela neobyvatelnou planetu.
Clippy Strikes Back!
27. 7. 2026
