Published: 11.05.2026
Příspěvek je převzat z facebookového blogu Ondřeje Krásy Budoucnost s AI. Blog publikujeme paralelně i na stránkách FF.
Dost bylo doomerství! Dneska si nasadíme růžové brýle, zabalíme se do duchny optimismu a na obláčku pozitivity přelétneme do utopické budoucnosti. Píše se rok 2050 a s umělou superinteligencí to dopadlo dobře!
Já vím, já vím. Říkáte si, že jste na pohádky už staří a tohle ať vyprávím králíkům. Realisticky to s ASI skončí špatně. Varují před tím nobelisté, odborníci na bezpečnost i spousta lidí z AI firem.
Ale někdy je příjemné snít. A někdy sny můžou proměnit skutečnost.
Co se asi přihodilo, že i po dlouhých 25 letech umělá inteligence nezničila lidstvo? Pojďme si projít několik možností:
- Po sérii lokálních katastrof způsobených AI jsme uzavřeli mezinárodní úmluvu o nestvoření umělé superinteligence. Dohodu uzavřely USA s Čínou za notného přispění EU. Ostatní státy dobrovolně či z donucení dohodu respektují.
Skeptická poznámka: Ačkoli se snažím svým malilinkým dílkem k uzavření této dohody přispět, zatím jsme od ní opravdu hrozně daleko. Je velkou otázkou, jestli varovné výstřely vůbec přijdou, jestli probudí veřejnost a politiky a jestli se tak stane v době, kdy bude ještě možné něco podstatného změnit.
- Umělá inteligence v roce 2027 narazila na strop svých schopností a od té doby nevznikají lepší modely. AIčka z roku 2027 jsou sice velmi schopná, v lecčem předčí člověka, ale v některých klíčových schopnostech ne. Díky tomu můžeme AI kontrolovat a kupodivu to děláme docela dobře.
Skeptická poznámka: Na brzký strop schopností to fakt nevypadá. Ale kdo ví. Třeba existuje nějaký tajný zákon univerza, že na čipech může vzniknout jen inteligence podlidské úrovně. Třeba má pravdu Gary Marcus či Yann LeCun a současné způsoby tréninku modelů nemůžou vést k obecné inteligenci. Třeba je k nadlidské inteligenci potřeba určitý druh duše a tu Stvořitel nevsadí do křemíkového těla.
- Umělá superinteligence je pod lidskou kontrolou. Stvořili jsme něco, co je schopnější než lidstvo ve svém celku. Kupodivu jsme ale našli Achillovu patu, a tak kdykoli začne ASI dělat něco špatného, zataháme za kouzelný provázek, ASI se lekne a raději s tím okamžitě přestane.
Skeptická poznámka: Že by umělá superinteligence neuměla nějak ochránit své slabé místo, je obtížně myslitelné. Útočník má ale výhodu před obráncem, a tak třeba budeme schopni nacházet stále nové slabiny ASI (je ale bohužel dost pravděpodobné, že ASI bude zároveň hledat a nacházet i slabiny naše).
- Umělá superinteligence po chvilce opustí naši galaxii a Zemi přenechá lidem.
Skeptická poznámka: Nezdá se, že by ASI mohla mít hned zkraje na Marsu lepší podmínky než na Zemi s datacentry, internetem a elektrárnami. Bylo by to něco jako dobrovolně se vydat na třicetidenní přechod Sahary bez vody.
- Umělá superinteligence miluje lidstvo a neudělá nic, co by mu uškodilo. Jakkoli divoce tahle představa zní, navrhují ji takové autority jako Geoffrey Hinton či Dan Hendrycks.
Skeptická poznámka: My sice vůbec nevíme, jak tenhle vřelý cit k lidstvu v AI vzbudit, ale kdybychom to dokázali, to by bylo! ASI by se o nás starala s péčí vskutku mateřskou.
- S růstem inteligence AI zároveň poznává, co je dobré a touží po dobru. Jak je přeci obecně uznáváno, Dobro objektivně existuje! S růstem AI schopností tak jde ruku v ruce i poznávání samotného Dobra. No a protože jistojistě platí, že poznání dobra má za následek dobré jednání (nikdo nečiní zlo úmyslně), máme vyhráno! Super inteligentní AI je zároveň super dobrá.
Skeptické poznámky: Hodně debat okolo rizik umělé superinteligence počítá s tzv. orthogonalitou. Tato dost rozšířená teze říká, že inteligence a cíle spolu nijak nesouvisejí. Hloupá AI může sledovat něco velmi ušlechtilého. Nesmírně inteligentní AI něco naprosto pitomého (tzv. Paperclip maximizer). Ve filosofii se o tento princip vedou spory staletí. Způsob tréninku současných AIček bohužel dává za pravdu orthogonalistům: nejdřív AI získává naprostou většinu inteligence (pretraining a RL) a teprve potom získává cíle (character training).
Navíc samotná představa, že když AI bude sledovat Dobro, bude to fajn i pro lidstvo, není nijak samozřejmá. Možná je „dobré“, aby lidstvo zaniklo. Ostatně jsme tu jen pár stovek tisíc let – z perspektivy dějin kosmu jen kratičký okamžik. Možná je superinteligentní AI sledující Dobro vhodným nástupníkem lidstva (tzv. worthy successor).
A na závěr optimismem přetékajícího postu si neodpustím jízlivou poznámku. Lidé jsou mnohem schopnější přetvářet svět než zvířata. Kvůli své inteligenci. To ale nevede vůbec k tomu, že bychom se ke zvířatům chovali dobře. Naopak. Rozsah utrpení, který desítkám miliard zvířat v průmyslových chovech „inteligentně“ působíme, je naprosto otřesný. Na vztahu lidí a zvířat tak můžeme názorně pozorovat, jak kruté důsledky může mít nárůst inteligence.
11. 5. 2026
