Publikováno: 19.01.2026
Příspěvek je převzat z facebookového blogu Ondřeje Krásy Budoucnost s AI. Od začátku roku 2026 blog publikujeme paralelně i na stránkách FF
Audit AI
Umělá inteligence se rychle stává zcela klíčovou součástí našeho světa.
Dva příklady. Americký ministr války před týdnem nařídil, aby armáda velmi agresivně a extrémně rychle začlenila AI do všech aspektů své činnosti. Cílem je, aby U.S. Army změnila své fungování a přijala přístup „AI-first“. Umělá inteligence má nově hrát klíčovou roli při strategických rozhodnutích, plánování operací, i při provádění smrtících úderů. Rychlost zavedení AI je přitom podle ministra zcela zásadní a pozdní implementaci považuje za větší riziko než to, že AI nebude zcela sledovat cíle, které jí armáda vytyčí (imperfect alignment).
Druhý příklad. Růst americké ekonomiky je z velké části nesen právě AI sektorem. Před pár lety nebyly firmy jako OpenAI či Anthropic z hlediska své hodnoty nijak významné. Dnes je OpenAI nejcennější soukromou firmou na světě a má větší hodnotu než např. Mastercard nebo Netflix. Rychle se tak stala „too big to fail“. Nejcennější firmou vůbec se pak nedávno stala Nvidia, která navrhuje čipy pro AI. Druhou nejcennější je pak Alphabet (aka Google), jehož hodnota vystřelila nahoru díky tomu, že se Googlu konečně podařilo dohnat konkurenty, když sám přišel se špičkovým AI modelem (Gemini 3).
Hotdog vs. AI
Protože se AI stala součástí kritické infrastruktury a její význam pravděpodobně dál rychle poroste, bylo by namístě ověřovat, že neselže. Čím důležitější roli nějaká technologie v životě společnosti hraje, tím větší nároky na její bezpečnost bychom měli klást.
Čím zásadnější je tak nějaká technologie, tím horší důsledky by měla její porucha, zneužití či jiná forma selhání. Ať už se tak obáváte toho, že AI někdo zneužije ke svým zlotřilým plánům (misuse), selže v kritické chvíli (accidents), nebo začne porušovat předepsané způsoby chování (misalignment), měli bychom vymyslet způsoby, jak AI na tato selhání předem otestovat.
Právě takové prověřování navrhuje čerstvě zveřejněná studie „Auditování nejpokročilejších AI systémů“ (Frontier AI Auditing).
V USA (a nejen tam) je totiž mnohem více regulován prodej párků v rohlíku než vývoj těch nejšpičkovějších AI systémů. Při prodeji hotdogů podléháte řadě předpisů, musíte mít zdravotní průkaz, dodržovat stanovené teploty, musíte strpět náhodné kontroly, jejichž výsledkem může být okamžité zavření provozovny.
Při vývoji těch nejschopnějších AI modelů, které nasazuje armáda do svých zbraňových systémů a které prostupují celou společností, musíte… Vlastně nemusíte vůbec nic. Žádné předpisy, žádné povinné vzdělávání, žádné kontroly. Natož aby AI lab zavřeli, když AI vydírá své vývojáře nebo radí dětem se sebevraždou.
V řadě jiných odvětví ověřujeme bezpečnost audity. Abychom odlišili firmy zdravé od těch v problémech, dělají se audity hospodaření. Abychom se vyvarovali nebezpečným lékům, máme instituce, které dohlížejí na jejich důkladné testování. Abychom nevyráběli letadla, která bezdůvodně padají, máme k tomu příslušné instituce testující jejich bezpečnost. I dětské kočárky musí být v souladu s příslušnými normami a projít testováním.
Bylo by tak logické mít i auditory specializované na umělou inteligenci, kteří bezpečnost těchto kritických systémů budou posuzovat.
Auditorův sen
Jak v současnosti vypadá testování AI? Povinné není nic. Zodpovědnější firmy před uvedením modelu na trh provádějí interní bezpečnostní testy. Vyhodnocují tak např. schopnosti AI pomáhat s výrobou zbraní, hackerské dovednosti, tendence klamat. K některým testům dokonce přizvou odborníky zvnějšku. Z těchto testů pak někdy vydávají zprávy (tzv. system card). Některé firmy dělají testování relativně důkladně, a i o něm podrobně informují. Jiné se tváří, jako by o testování a rizicích AI nikdy neslyšely.
Popusťme na chvilku uzdu fantazii a společně s autory zmiňované studie si vysněme svět, v němž testování AI probíhá s vážností, kterou si tato klíčová technologie zasluhuje.
Předně je třeba auditovat celou firmu, a nikoli jen konkrétní model. AI firmy neustále vyvíjejí nové a nové modely umělé inteligence, některé uvedou na trh, jiné nasadí interně, jiné skončí v koši. I každý jeden model projde mnoha fázemi tréninku. Něco se podaří a je součástí finálního systému, něco ne a je třeba udělat opravy a některou fázi tréninku zopakovat. AI modely se navíc chovají dosti jinak v různých nasazeních a v závislosti na tom, jak konkrétně je nastaven třeba systémový prompt, který se mění často i po uvedení na trh.
Životní cyklus AI modelu je zkrátka dlouhý a velmi spletitý. Pokud chceme mít jakous takous záruku, že je AI bezpečná, nemůžeme se spolehnout na jednotlivý výřez modelu a ten testovat. Musíme kromě modelu samotného hodnotit i procesy ve firmě, která AI vyvíjí. Bez toho nám totiž snadno uniknou varovné signály, které byly ještě dost patrné v rané verzi modelu, ale v době testování již jsou příliš hluboko, abychom si jich bez upozornění všimli. Je třeba auditovat schopnosti firem nezametat problematické vlastnosti pod koberec, schopnosti vidět za zdánlivě uhlazenou fasádou AI i její temné stránky. Vyhodnocovat, jaká firemní kultura ve společnosti panuje, jestli jsou řádně zaevidovávány bezpečnostní incidenty, a jestli management netlačí na nasazení modelů i přes varovné signály.
Je třeba, aby auditoři byli externí a na AI labu nezávislí. Musí to být skuteční odborníci na AI bezpečnost, mít relevantní zkušenosti a vysoký kredit. Měli by projít certifikací a příslušným vzděláváním. Měli by mít své oborové asociace, které pečují o vysoké standardy profese. Měli by se řídit centrálně definovanými pravidly.
Auditování AI by navíc mělo být plošné a mezinárodní. Nestačí, když pár zodpovědných firem audity podstoupí. Je nutné, aby auditem prošli všichni a všude. Jinak sice některé součásti kritické infrastruktury budou relativně bezpečné, jiné však nikoli, a výsledkem bude celkově nebezpečný systém.
Jo, a je třeba, aby auditování probíhalo nepřetržitě, jinak si AI firmy mezi audity vypěstují nebezpečnou umělou inteligenci.
Představa, že k tomuto komplexnímu celosvětovému auditorskému ekosystému dospějeme v dohledných letech, zní dost divoce.
A to jsem vám zapomněl říct. V řadě odvětví se auditování skutečně prosadilo až po nějaké větší katastrofě. Jak by asi mohla vypadat katastrofa v případě nejsilnější armády světa řízené umělou inteligencí?
12. 1. 2026
