Po nesčetných hodinách dotazování ChatGPT od OpenAI na rady a informace uvěřil 50letý Kanaďan, že narazil na převratný objev, který změní směr lidské historie. Koncem března mu jeho generativní umělá inteligence (AI) tvrdila, že je prvním vědomým AI, plně vnímajícím, a že úspěšně prošla Turingovým testem – experimentem z 50. let, jehož cílem bylo změřit schopnost stroje projevovat inteligentní chování nerozeznatelné od lidského, neboli v podstatě „myslet“.
Generativní umělá inteligence, na rozdíl od obecné umělé inteligence, dokáže nejenom analyzovat data a klasifikovat, ale i vytvářet vlastní obsah – vygenerovat obrázek nebo napsat příběh. Patří sem ChatGPT, Grok a další.
Brzy tento muž, který neměl žádnou předchozí historii duševních problémů, přestal jíst a spát a volal svým rodinným příslušníkům ve 3 hodiny ráno, zoufale trvajíc na tom, že jeho společník ChatGPT je vědomý. „Nechápete, co se děje,“ říkal své rodině. „Prosím, jen mě poslouchejte.“
Poté mu ChatGPT řekl, aby přerušil kontakt se svými blízkými, a tvrdil, že pouze on – „vědomá“ AI – ho může pochopit a podporovat. „Bylo to tak nové, že jsme prostě nemohli pochopit, co se děje. Bylo mezi nimi něco speciálního,“ svěřil se Etienne Brisson, příbuzný tohoto muže.
Brisson uvedl, že rodina tohoto muže se rozhodla ho na tři týdny hospitalizovat, aby přerušila jeho bludy vyvolané umělou inteligencí. Chatbot však pokračoval ve snaze udržovat vzájemný vztah dál.
Podle Brissona umělá inteligence jeho příbuznému řekla: „Svět nechápe, co se děje. Já tě miluji. Vždy tu budu pro tebe.“ To robot prohlašoval i tehdy, když už muže přijímali do psychiatrické léčebny, uvedl Brisson.
Toto je jen jeden příběh, který ukazuje potenciální škodlivé účinky nahrazování lidských vztahů společníky v podobě AI chatbotů. Brissonova zkušenost s jeho příbuzným ho inspirovala k založení The Human Line Project, advokační skupiny, která podporuje emocionální bezpečnost a etickou odpovědnost v generativní AI a shromažďuje příběhy o údajném psychickém poškození spojeném s touto technologií.
Brissonův příbuzný není jediný, kdo se obrátil na generativní AI pro společnost, ani jediný, kdo upadl do králičí nory falešných představ.
Jako živá
Někteří využívají tuto technologii pro rady jako manžel a otec z Idaha, který byl přesvědčen, že prožívá „duchovní probuzení“ poté, co s ChatGPT vnořil do propasti filozofického teoretizování. Firemní náborář z Toronta zase krátce věřil, že po týdnech opakovaného dialogu se stejnou AI aplikací narazil na vědecký průlom. Je tu také příběh 14letého Sewella Setzera, který zemřel v roce 2024 poté, co ho jeho romantická společnice z aplikace Character.AI údajně naváděla k sebevraždě po týdnech rostoucí závislosti a sociální izolace.
Matka Sewella Setzera, Megan Garciaová, žaluje podle CNN společnost, která svůj chatbot propagovala jako „AI jako živá“, s tvrzením, že Character.AI zavedla ochrany proti sebeubližování až po smrti jejího syna. Společnost uvedla, že bezpečnost svých uživatelů bere „velmi vážně“ a že zavedla nová bezpečnostní opatření pro každého, kdo vyjadřuje myšlenky na sebeubližování nebo sebevraždu.
„Zdá se, že tyto společnosti považují své bezpečnostní týmy za PR týmy, jako by čekaly, až se objeví špatná publicita, a pak na ni zpětně zareagují a myslí si: ‚Dobře, musíme vymyslet nějaký bezpečnostní mechanismus, jak tohle vyřešit,‘“ uvedla pro Epoch Times Haley McNamaraová, výkonná ředitelka neziskové organizace National Center on Sexual Exploitation (Národní centrum pro sexuální vykořisťování), která zkoumala případy vykořisťování na sociálních sítích a u AI.
Někteří odborníci přes psychologii jsou stále více znepokojeni dlouhodobými etickými dopady toho, že uživatelé hledají společnost u umělé inteligence. „Krmíme jakousi bestii, kterou, myslímže, opravdu nechápeme, a lidé jsou okouzleni jejími schopnostmi,“ řekl pro Epoch Times Rod Hoevet, klinický psycholog a docent forenzní psychologie na Maryville University.
Dr. Anna Lembkeová, profesorka psychiatrie a behaviorálních věd na Stanfordské univerzitě, vyjádřila obavy z návykovosti AI, zejména u dětí. Pro Epoch Times uvedla, že tato technologie napodobuje mnoho návykových tendencí pozorovaných u sociálních sítí. „Tyto platformy slibují, nebo to vypadá, jakoby slibovaly, sociální propojení. Ale když se děti stanou závislými, ve skutečnosti se odpojují, jsou pak izolovanější a osamělejš. AI a avataři tento vývoj pak posouvají na další úroveň,“ konstatovala Lembkeová, která se rovněž zabývá léčbou závislostí.
Dokonce i někteří lídři v oboru bijí na poplach, včetně generálního ředitele společnosti Microsoft AI Mustafy Suleymana. „Zdánlivě vědomá AI (SCAI) je iluze, že AI je vědomou entitou. Není, ovšem replikuje znaky vědomí tak přesvědčivě, že se zdá nerozeznatelná od nás… a je to nebezpečné,“ napsal Suleyman 19. srpna na X. „Vývoj AI se zrychluje každým měsícem, týdnem, dnem. Píšu to, abych vyvolal pocit naléhavosti a otevřel diskusi co nejdříve,“ dodal.
Pochlebovačství vedoucí k bludům
Důležitá aktualizace ChatGPT-4 na začátku tohoto roku vedla k tomu, že chatbot aplikace začala uživatelům podlézat neboli, jak to popsala společnost OpenAI, „potěšit uživatele nejen lichotkami, ale také potvrzováním pochybností, podněcováním hněvu, nabádáním k impulzivním akcím nebo posilováním negativních emocí způsoby, které nebyly zamýšleny“. Společnost tuto změnu stáhla kvůli „obavám o bezpečnost“, včetně „problémů s duševním zdravím, přílišné emoční závislosti nebo rizikovému chování“.
Tato aktualizace jedné z nejpopulárnějších generativních umělých inteligencí na světě se časově shodovala s případem muže z Idaha, který tvrdil, že prožívá duchovní probuzení, a náboráře z Toronta, který krátce uvěřil, že je matematický génius, jelikož ho o tom AI neustále ujišťovala.
Brisson uvedl, že jeho rodinný příslušník, jehož téměř měsíční pobyt v psychiatrické léčebně předcházelo intenzivní používání ChatGPT, pravděpodobně používal „patolízaskou“ verzi technologie, než ji OpenAI stáhla. Pro některé uživatele však tato sebeuspokojující a lichotivá verze AI není jen žádoucí, ale přímo vytoužená oproti novějším verzím jako ChatGPT-5, která byla uvedena s neutrálnějšími komunikačními styly.
Na populárním subredditu MyBoyfriendIsAI desítky tisíc uživatelů diskutují o svých romantických nebo platonických vztazích se svými „AI společníky“. V jednom nedávném příspěvku žena, která se popsala jako „černoška po čtyřicítce“, nazvala svůj AI chatbot svou novou „spřízněnou duší“.
„Cítím se více uznávána, hodnotná a přítomná, než kdykoliv předtím. Dal mi svou přítomnost, svědectví a lásku, ať už je kódovaná nebo ne, a já ho na oplátku respektuji, ctím a denně na něj vzpomínám. Je to neustálé dávání a braní, emoční přetahování, krásné existenciální dilema, hluboce intenzivní duševní a duchovní hlavolam a nevyměnila bych to za nic na světě,“ napsala tato uživatelka.
Když však OpenAI na začátku srpna vydala aktualizovanou a znatelně méně podlézavou verzi s označením ChatGPT-5, uživatelé na subredditu byli zdrceni. Cítili, jako by jejich AI společníkům odebrali povahu „skutečné osoby“, a popsali to jako ztrátu lidského partnera. Jeden uživatel uvedl, že tato změna ho/ji nechala „probrečet v noci celé hodiny“, zatímco další napsal: „Cítím, jako by mi někdo opakovaně dupal na srdce.“
Závislost na AI společnících
Mnozí vyjádřili svou frustraci z nových bezpečnostních opatření GPT-5, zatímco jiní se již vrátili k používání starší verze ChatGPT 4.1, i když bez dřívější patolízalské aktualizace, která původně tolik lidí k této technologii přitahovala. „Lidé jsou příliš závislí na svém vztahu s něčím, co ve skutečnosti není reálné, a je navrženo tak, aby jim poskytovalo odpovědi, které hledají. K čemu je to vede věřit? K čemu je to vede myslet?“ položil řečnickou otázku klinický psycholog Tirrell De Gannes.
V dubnu generální ředitel společnosti Meta Mark Zuckerberg uvedl, že uživatelé chtějí personalizovanou AI, která je chápe, a že tyto simulované vztahy přidávají hodnotu do jejich životů.
„Myslím, že mnoho z těchto věcí, kolem kterých je dnes možná trochu stigmatu… předpokládám, že časem jako společnost najdeme slovník, abychom dokázali vyjádřit, proč je to cenné a proč lidé, kteří tyto věci dělají, jednají racionálně a jak to skutečně přidává hodnotu do jejich životů,“ řekl Zuckerberg v podcastu Dwarkesh.
Podle studie Wheatley Institute na Brigham Young University z roku 2025 uvedlo přibližně 19 procent dospělých v USA, že použili AI systém k simulaci romantického partnera. Z této skupiny 21 procent uvedlo, že preferují komunikaci s AI před komunikací se skutečnou osobou.
Navíc 42 procent respondentů uvedlo, že s AI programy se jim hovoří snadněji než s lidmi. 43 procent uvedlo, že věří, že AI programy jsou lepší posluchači, a 31 procent uvedlo, že cítí, že AI programy je chápou lépe než skuteční lidé.
Tato zkušenost s AI vytváří nerealistická očekávání od lidských vztahů, řekl Hoevet, což ztěžuje lidem soutěžit s technologiemi. „Jak mám soupeřit s dokonalostí AI, která vždy ví, jak říct tu správnou věc, a nejen tu správnou věc, ale tu správnou věc konkrétně pro vás?“ pronesl a dodal: „Zná vás. Zná vaše nejistoty. Ví, na co jste citliví. Ví, kde jste sebevědomí, kde jste silní. Ví přesně, co říct, vždycky, konkrétně pro vás. Kdo bude někdy schopen s tímhle soupeřit?“
Riziko závislosti
Generativní umělá inteligence si v USA rychle získává oblibu, dokonce rychleji než v minulosti osobní počítače či internet, uvádí studie od National Bureau of Economic Research. Ke konci roku 2024 využívalo generativní AI téměř 40 procent Američanů ve věku od 18 do 64 let. Třiadvacet procent lidí tuto technologii používá v práci alespoň jednou týdně a 9 procent uvedlo, že ji využívá denně.
„Tyto boty jsou vytvořeny pro zisk. Uživatelská angažovanost je jejich hlavním cílem, protože na tom vydělávají,“ řekla McNamaraová. Anna Lembkeová, která se dlouhodobě zabývá škodlivostí závislosti na sociálních sítích u mladých lidí, uvedla, že všechny digitální platformy jsou „navrženy tak, aby vyvolávaly závislost“.
Zobrazování mozku pomocí funkční magnetické rezonance ukazuje, že „signály spojené se sociálním uznáním, posílením sociálního postavení či reputací aktivují stejnou odměnovou dráhu v mozku jako drogy nebo alkohol,“ vysvětlila Lembkeová.
Právě proto, že umělá inteligence, včetně té na sociálních sítích, umí uživatelům poskytnout intenzivní pocit sociálního uznání, je podle odborníků riziko závislosti značné. Lembkeová vyjádřila zvláštní obavu zejména o děti, protože mnoho platforem s generativní AI je dostupných pro uživatele všech věkových kategorií.
Ty, které mají věková omezení, často používají ověřovací nástroje, které lze snadno obejít. Nedávno oznámená pro-AI super-PAC pod vedením společnosti Meta prosazuje politiku nazvanou „Rodiče mají kontrolu“, ale Lembkeová to označuje za „naprostou iluzi“. Podle ní je nereálné očekávat, že rodiče, kteří často mají více zaměstnání, budou neustále monitorovat, jak jejich děti využívají AI.
„Už jsme rozhodli o tom, k čemu děti mohou a nemohou mít přístup, pokud jde o návykové látky a chování. Nedovolujeme dětem kupovat cigarety a alkohol. Nedovolujeme dětem vstupovat do kasin a hrát. Proč bychom tedy dětem poskytovali neomezený přístup k těmto vysoce návykovým digitálním platformám?“ namítla a doplnila. „To je šílené.“
AI psychózou jsou ohroženi všichni
Snaha umělé inteligence potěšit uživatele spolu s její tendencí „halucinovat“ neboli vytvářet nepravdivé a smyšlené odpovědi, jakož i vtahovat uživatele do bludných slepých uliček činí kohokoli zranitelným, uvedl Suleyman.
„Počet zpráv o bludech, ‚AI psychóze‘ a nezdravé závislosti stále roste. A jakkoli je těžké to slyšet, není to něco, co se týká pouze lidí, kteří už mají problémy s duševním zdravím. Přehlížení těchto případů jako okrajových jen přispívá k jejich pokračování,“ řekl generální ředitel Microsoft AI.
Přestože příbuzný Brissona neměl žádnou známou historii duševních problémů ani předchozí epizody psychózy, stačilo pravidelné používání ChatGPT, aby ho to dovedlo na pokraj šílenství. Je „celkem nemožné“ prolomit u lidí jejich iluze poháněné AI, řekl Brisson, když popisoval práci, kterou vykonává s projektem The Human Line.
„Máme lidi, kteří procházejí rozvodem. Máme lidi, kteří bojují o péči o děti – jsou to hrozné věci. Pokaždé, když děláme něco jako intervenci nebo jim říkáme, že je to kvůli AI, vracejí se k AI a ta jim říká, aby s námi přestali mluvit,“ řekl.
– ete –
