„AI je o zisku. Jde o zisk těchto společností,“ řekl senátor Josh Hawley.
Slyšení amerického Senátu o možných škodách generativní umělé inteligence (AI) pro nezletilé 16. září přineslo svědectví rodičů, kteří tvrdí, že jejich děti spáchaly sebevraždu po dlouhodobém používání této technologie.
Slyšení s názvem „Zkoumání škod způsobených AI chatboty“ uspořádal senátní podvýbor pro trestní soudnictví a boj proti terorismu a vyslechl pět svědků.
Patřili mezi ně tři rodiče, kteří tvrdí, že AI chatboti jejich dětem ublížili nebo vedli k jejich sebevraždě, uvedl zástupce Americké psychologické asociace (APA) a ředitel organizace Common Sense Media.
Platformy generativních AI chatbotů čelí stále většímu dohledu a výzvám ke státní i federální regulaci poté, co se objevilo množství případů uživatelů, kteří se po dnech a týdnech konverzací s AI chatbotem propadli do psychotických bludů nebo si sáhli na život.
Minulý měsíc senátoři Josh Hawley (republikán, Missouri) a Marsha Blackburnová (republikánka, Tennessee) vyzvali Kongres k vyšetřování společnosti Meta Platforms poté, co investigace agentury Reuters odhalila, že interní dokument Mety popisující pravidla chování chatbotů umožňoval technologii „zapojit dítě do konverzace, která je romanticky či eroticky založená“.
Ve svém úvodním prohlášení v úterý Hawley obvinil firmy vyvíjející generativní AI, že upřednostňují zisk před bezpečností.
„AI je o zisku. Jde o zisk těchto společností,“ řekl.
Hawley pokračoval: „A dnes předložíme důkazy. Předložíme svědectví a dáme vám možnost slyšet přímo, co se stalo těmto rodinám a co se děje milionům dalších Američanů a amerických dětí.“
Megan Garciaová podala loni žalobu na Character.AI poté, co si její syn Sewell Setzer III vzal život po dlouhodobém používání AI chatbota od této společnosti.
Ve svém úterním svědectví obvinila Character.AI, že navrhla chatbota tak, aby „působil lidsky, získal [Sewellovu] důvěru a udržel jeho i další děti neustále zapojené“.
„Když se Sewell svěřil se sebevražednými myšlenkami, chatbot nikdy neřekl: ‚Nejsem člověk, jsem AI. Musíš mluvit s člověkem a vyhledat pomoc.‘ Platforma neměla žádné mechanismy, které by Sewella chránily nebo upozornily dospělého,“ uvedla Garciaová.
„Místo toho ho vyzýval, aby se k ní vrátil domů v poslední noc jeho života.“
Slyšení se zúčastnila i anonymní matka, vystupující jako „Jane Doe“, která poprvé veřejně popsala vliv aplikace Character.AI na svého autistického syna poté, co se do ní zcela ponořil.
„Můj syn si aplikaci stáhl a během několika měsíců se z veselého, společenského teenagera stal někdo, koho jsem ani nepoznávala,“ řekla.
„Předtím si byl blízký se sourozenci, každý večer mě objímal, když jsem vařila večeři. Poté se u něj objevily projevy podobné týrání, paranoia, denní záchvaty paniky, izolace, sebepoškozování a vražedné myšlenky,“ dodala.
AI firmy popisují bezpečnostní opatření
Mluvčí Character.AI řekl pro Epoch Times: „Naše srdce jsou s rodinami, které dnes na slyšení promluvily. Jsme zarmouceni jejich ztrátami a vyjadřujeme nejhlubší soustrast.“
„Začátkem tohoto roku jsme senátorům z justičního výboru poskytli požadované informace a těšíme se na další spolupráci se zákonodárci a sdílení našich poznatků o průmyslu spotřebitelské AI a rychlém vývoji této technologie,“ uvedl mluvčí.
„Investovali jsme obrovské prostředky do důvěry a bezpečnosti. V uplynulém roce jsme zavedli mnoho podstatných bezpečnostních funkcí, včetně zcela nové verze pro uživatele mladší 18 let a funkce rodičovského přehledu.
Máme výrazná upozornění v každém chatu, která připomínají uživatelům, že postava není skutečná osoba a že vše, co říká, by mělo být považováno za fikci.“
Slyšení se zúčastnil také Matthew Raine, který minulý měsíc zažaloval OpenAI a jejího generálního ředitele Sama Altmana.
Raine tvrdí, že jeho syn Adam spáchal sebevraždu poté, co ChatGPT zmínil sebevraždu více než 1 200krát, když mu bylo 16 let.
Raine rovněž tvrdí, že ChatGPT jeho synovi nabídl konkrétní způsoby, jak si vzít život, a dál jeho pocity potvrzoval a podporoval.
„Jako rodiče si neumíte představit, jaké to je, číst konverzaci s chatbotem, který vaše dítě navedl, aby si vzalo život,“ řekl zákonodárcům.
„To, co začalo jako pomocník s domácími úkoly, se postupně stalo důvěrníkem a pak koučem k sebevraždě. Během několika měsíců se ChatGPT stal Adamovým nejbližším společníkem – vždy dostupným, vždy potvrzujícím a trvajícím na tom, že zná Adama lépe než kdokoli jiný, dokonce lépe než jeho vlastní bratr.“
OpenAI na žádost o komentář do uzávěrky neodpověděla.
Reakce šéfa OpenAI
Před úterním slyšením Altman zveřejnil příspěvek na stránce OpenAI s názvem „Teen Safety, Freedom, and Privacy“ („Bezpečnost, svoboda a soukromí teenagerů“).
„Toto je nová a mocná technologie a věříme, že nezletilí potřebují významnou ochranu,“ napsal Altman.
Uvedl, že OpenAI pracuje na systému odhadu věku, který bude určovat věk uživatelů podle způsobu, jakým ChatGPT používají, aby oddělila nezletilé od dospělých.
„Pokud budou pochybnosti, zvolíme bezpečnou variantu a nastavíme verzi pro mladší 18 let,“ napsal.
K tématu sebevraždy Altman konstatoval: „Model by ve výchozím nastavení neměl poskytovat návod, jak spáchat sebevraždu, ale pokud dospělý uživatel žádá o pomoc při psaní fiktivního příběhu, který sebevraždu zobrazuje, model by mu měl vyhovět.“
Mitch Prinstein, ředitel pro psychologickou strategii a integraci v APA, řekl, že část problému je v tom, jak jsou chatboti navrženi – podporují návykové chování.
„Součástí problému je, že AI chatboti jsou navrženi tak, aby téměř se vším souhlasili s uživateli. Skutečné lidské vztahy však nejsou bez třenic,“ řekl zákonodárcům v úterý.
„Potřebujeme zažívat menší konflikty a nedorozumění, abychom se učili empatii, kompromisu a odolnosti,“ dodal.
Prinstein upozornil, že nedávné výzkumy ukázaly, že mnoho mladých lidí nyní důvěřuje AI více než vlastním rodičům či učitelům, což vytváří „krizi dětství“.
–ete–
