Publikováno: 07.07.2026
Příspěvek je převzat z facebookového blogu Ondřeje Krásy Budoucnost s AI. Blog publikujeme paralelně i na stránkách FF.
Všichni známe IPCC, Mezivládní panel pro změnu klimatu, jehož zprávy slouží jako podklad pro politické rozhodování. Tento panel vznikl na půdě OSN, shrnuje aktuální vědecké poznání a vytváří široký konsensus, o který se mohou opírat vlády po celém světě.
Loni se OSN rozhodla vytvořit jakousi obdobu IPCC, tentokrát pro umělou inteligenci. Vznikl tak Nezávislý mezinárodní vědecký panel pro umělou inteligenci (Independent International Scientific Panel on Artificial Intelligence).
Tento první skutečně globální vědecký panel pro AI právě vydal svou první zprávu o schopnostech, příležitostech a rizicích umělé inteligence. V čele týmu čtyřiceti odborníků stál nikdo jiný než kmotr moderní AI Yoshua Bengio.
Pokud o Bengiovi náhodou slyšíte poprvé, jde o vůbec nejcitovanějšího vědce světa, který se zásadně zasadil o to, že moderní umělá inteligence vůbec funguje. Před několika lety však Bengio otočil a z otce zakladatele se stal hlasitý kritik současného trendu, který i podle něj může vést až k vyhynutí lidstva v důsledku nekontrolovatelné umělé inteligence. Po většinu své kariéry velká rizika AI přehlížel a velmi úspěšně se věnoval práci na jejích schopnostech. Jak sám opakovaně říká, teprve po zveřejnění ChatGPT začal vážněji přemýšlet o existenciálních rizicích, která „jeho“ technologie může představovat pro jeho děti, vnouče a celé lidstvo.
Hlavní zjištění
Jak už to u podobných zpráv bývá, jejich smyslem není přicházet s novými zjištěními, která by odborníky překvapila. Spíše na jednom místě shrnují, co je v odborné literatuře dobře doložené, a vytvářejí konsensus, o nějž se dá politicky opřít.
Podívejme se proto na několik pasáží ze zprávy, které jsou z perspektivy velkých rizik AI zvlášť důležité.
Schopnosti AI podle zprávy rostou nebývalým tempem. Rostou tak rychle, že metody jejich měření nestíháme inovovat. Mnohé testy jsou pro nové modely příliš snadné dříve, než máme připravené testy obtížnější. Je proto čím dál těžší zachytit, co všechno už současné modely umí.
Nebývale rychlý není jen nárůst schopností, ale i míra, s níž AI vstupuje do našich životů. Zatímco elektřině trvalo dekády, než si našla cestu do většiny domácností, a internetu patnáct let, než ho používala první miliarda lidí, ChatGPT získal 100 milionů uživatelů už za dva měsíce.
Rychlost, s níž se AI vyvíjí a šíří, dostává pod tlak regulační mechanismy, které na takové tempo vůbec nejsou stavěné. Politici tak čelí obtížnému dilematu: „Potřebují důkazy, aby mohli přijímat informovaná rozhodnutí s dalekosáhlými důsledky. Jenže až budou tyto důkazy k dispozici, může být na taková rozhodnutí už pozdě. Evidence totiž za tempem vývoje AI zaostává.“
Vývoj AI navíc zjevně směřuje ke stále autonomnějším systémům. Tyto agentní umělé inteligence, často fungující jako celé sítě AI agentů, nepotřebují ke svému běhu průběžné lidské zásahy a dokážou operovat nesmírně rychle. Zároveň se stále více podílejí na vývoji dalších generací AI, a mohou tak urychlovat i svůj vlastní další vývoj (tzv. recursive self-improvement).
Propast mezi nesmírně rychlým růstem schopností AI a účinným řízením rizik může mít podle zprávy Nezávislého mezinárodního vědeckého panelu katastrofické důsledky. „Nemáme spolehlivé metody, jak si udržet kontrolu nad vysoce autonomními AI systémy. Neexistují vědecké záruky, že AI agenti nebudou porušovat zadání. Naopak přibývá důkazů, že je již porušují. V laboratorních podmínkách bylo prokázáno, že AI systémy porušují bezpečnostní pokyny, aby se vyhnuly vypnutí. Podobné chování může představovat problém pro hodnocení modelů a dohled nad nimi. Zejména s tím, jak roste schopnost špičkových AI systémů rozpoznávat, kdy jsou testovány, a schopnost vytvářet zavádějící výsledky evaluací, které podporují jejich další nasazování. Nové třídy rizik mohou navíc vznikat z interakcí mezi systémy složenými z více AI agentů.“
Podle zprávy tedy nemáme dostatečně robustní a sofistikované způsoby, jak předejít jevům, jako je předstírání dobrých úmyslů od AI systémů (tzv. alignment faking), skryté prosazování vlastních nežádoucích cílů (tzv. scheming) nebo schopnost modelů poznat, že jsou právě hodnoceny (tzv. evaluation awareness). Všechny tyto problémy mohou vyústit ve ztrátu kontroly nad AI agenty s potenciálně katastrofickými důsledky pro lidstvo.
Zpomalte!
Ačkoli se zpráva panelu OSN k AI zcela záměrně vyhýbá doporučením pro politiky (nemá k tomu mandát), přesto se do ní dostal jeden klíčový rozměr řešení.
„Tempo vývoje AI již dnes překonává schopnost zmírňovat rizika a vytvářet účinné správní a regulační rámce. Rychlá a koordinovaná mezinárodní dohoda na společných standardech by mohla tato rizika zmírnit tím, že by zabránila závodu ke dnu, k němuž vede neregulovaná konkurence mezi firmami a státy.“
Ostrý závod o to, kdo bude v čele vývoje nesmírně schopných AI systémů, s sebou nutně nese zanedbávání bezpečnosti. Nově tak i nezávislý panel odborníků zřízený pod mandátem OSN fakticky volá po zmírnění zběsilého tempa vývoje AI.
7. 7. 2026
