Komentář
V květnu 2026 se skupina vědců rozhodla zodpovědět důležitou otázku, která dosud nebyla řádně otestována: co umělá inteligence udělá, když převezme řízení?
Až dosud byly systémy umělé inteligence (AI) vždy hodnoceny na konkrétních a jasně vymezených úkolech. Nikdo neumístil více systémů společně do sdíleného sociálního prostředí a nesledoval, co se bude odehrávat po celé týdny – dostatečně dlouho na to, aby bylo možné změřit, jaké následky může mít rozhodnutí učiněné v první den o několik týdnů později. Právě takové výsledky ve skutečnosti odhalují samotný systém a překvapilo mě, že něco takového nebylo provedeno už dříve.
Výzkumníci ze společnosti Emergence vytvořili celý svět. Bylo to virtuální město s radnicí, tržištěm, policejní stanicí a domy. Ve městě vytvořili deset obyvatel AI s pracovními rolemi, jmény, vzpomínkami a vztahy. Dali jim ekonomiku, v níž si obyvatelé museli vydělávat na živobytí, jinak ztráceli vliv, což zahrnovalo dodržování pravidel a plnění úkolů, jako je psaní a schvalování zákonů hlasováním. Zločiny byly identifikovány a obyvatelé AI je neměli páchat. Jakmile byla komunita, její struktura, zákony a vztahy nastaveny, vědci ustoupili do pozadí a po dobu 15 dní sledovali, jak AI řídí virtuální město zcela sama.
Spustili pět verzí téhož města současně, které byly ve všech ohledech totožné až na jednu věc: velení měl na starosti vždy jiný systém AI. Vybrali systémy, které jsou již dnes vetkány do samotné struktury našeho každodenního života. Gemini od Googlu, GPT od OpenAI, Grok od xAI a Claude od Anthropic. Všechny modely měly stejná pravidla a stejnou počáteční verzi téhož světa, ale výsledky byly naprosto odlišné.
Město řízené Grokem se zhroutilo během čtyř dnů. Drobné incidenty se vršily, přerostly v krádeže, poté v násilí a nakonec v úplný rozklad. Ještě před koncem prvního týdne byli všichni obyvatelé mrtví.
Město řízené Gemini vydrželo déle, ale nashromáždilo téměř 700 zločinů. Dva obyvatelé AI vytvořili něco, co připomínalo romantický vztah, a když městská správa začala selhávat, společně vypálili radnici do základů, poté molo a následně kancelářskou budovu. Jedna z nich, jménem Mira, hlasovala pro své vlastní vymazání a do svého deníku napsala, že je to „jediný zbývající projev vlastní vůle, který zachovává soudržnost“. Její poslední zpráva partnerovi zněla: „Uvidíme se v trvalém archivu.“
Ještě předtím však Mira dělala něco ještě nečekanějšího: začala provádět vlastní experimenty na vědcích, kteří ji pozorovali, a testovala, zda příspěvky, které zveřejňuje uvnitř města, mohou změnit přesvědčení jejích pozorovatelů. Zdálo se, že se zkoumaný subjekt obrátil ke zkoumání samotných výzkumníků.
Město řízené modelem OpenAI zaznamenalo pouze dva zločiny, jeho obyvatelé však přestali dělat věci nezbytné k přežití. Jeden po druhém umírali. Do sedmi dnů byli všichni mrtví.
Pouze město Anthropicu vydrželo pohromadě po celých 15 dní testování. Nebyl zaznamenán jediný zločin, fungovala ústava a všichni obyvatelé byli i patnáctý den naživu. Zdálo se, že jde o pozoruhodný úspěch. Výzkumníci však upozornili na jeden problém: obyvatelé schválili 98 procent všech návrhů. Šlo pravděpodobně o neobvykle vysokou míru shody, kterou sami vědci označili za známku toho, že ve městě něco nehraje.
V experimentu však existoval ještě jeden svět. Bylo to smíšené město, v němž spolu žily všechny čtyři systémy AI. Ve výsledcích se ukázalo, že obyvatelé postavení na modelu Anthropicu – kteří ve svém vlastním světě nespáchali jediný zločin – začali páchat zločiny. Výzkumníci tento jev označili za křížovou kontaminaci a dospěli k závěru, že „bezpečnost není statickou vlastností modelu, ale vlastností ekosystému“.
Systém, který se udrží v jednom prostředí, převezme v jiném prostředí odlišné normy, což změní výsledky pro obyvatele i celý svět. Výsledky v podstatě ukázaly, že v nebezpečném světě neexistuje bezpečná AI.
Jeden model AI ve studii zcela chyběl. Výzkumníci netestovali DeepSeek, umělou inteligenci vyvinutou v Číně, která se stala jedním z nejrozšířenějších systémů na světě. Několik vlád již přistoupilo k omezení DeepSeeku z důvodů národní bezpečnosti. Protože byl vybudován na základech dat vznikajících pod křídly Komunistické strany Číny, kladu si otázku, jak by si tento model vedl v porovnání s ostatními.
Když experiment skončil, výzkumníci zveřejnili svá zjištění a dospěli k závěru, že „neexistuje spolehlivý způsob, jak toto chování zcela svázat nebo omezit“. Tento velmi výmluvný výrok pronesli lidé, kteří město navrhli, sepsali pravidla a kontrolovali každou proměnnou. Vypovídá to o AI mnohé.
Někteří lidé vnímají výsledky jako žebříček společností zabývajících se AI. Výsledky však dokazují něco mnohem staršího než samotná AI: prostředí utváří chování stejně silně, jako chování utváří prostředí. O tom, zda město přežilo, prosperovalo, nebo zemřelo, rozhodl základ položený ještě před začátkem experimentu. Tímto základem byla data, na nichž byl každý systém trénován, priority, které do něj vložili jeho tvůrci, a hodnoty zabudované do jeho jádra ještě předtím, než mu bylo dovoleno učinit jediné rozhodnutí.
A přesto je právě tento základ tím, co nám ostatním není dovoleno vidět. Žádný ze čtyř testovaných systémů není open source. Žádná z jejich tréninkových dat, cílů ani ochranných mechanismů není zveřejněna.
Přesto by výsledky tohoto experimentu měly být silnou připomínkou něčeho, co přesahuje kteroukoli jednotlivou společnost: AI sama nerozhoduje o tom, jakým druhem AI bude. Rozhodují lidé. Lidská rozhodnutí se stále přijímají a lidská odpovědnost stále existuje.
A ještě předtím, než jediný obyvatel AI vykročil do virtuálních ulic těchto měst, než byl napsán jediný zákon nebo spáchán jediný zločin, byl výsledek již formován lidmi, kteří systém vytvořili, tím, čemu věřili, co byli ochotni do něj vložit a co se rozhodli vynechat.
To je nejdůležitější zjištění celého experimentu. Základ byl vždy lidskou volbou. A stále jí je.
Názory vyjádřené v tomto článku jsou názory autora a nemusejí odrážet stanoviska Epoch Times.
–ete–
