Pryč jsou doby, kdy největší obavy vzbuzovali žáci, kteří svému učiteli přírodopisu kreslili uši mimozemšťana nebo tiskli obrázky obličeje kamaráda spojené se čtyřnohým tělem se šupinami a ocasem.
Před více než 30 lety se situace lišila. Nyní jsou školy nuceny vyvíjet pohotovostní plány pro případ, že by se na sociálních sítích objevily sexuálně explicitní obrázky studentů nebo učitelů generované umělou inteligencí (AI).
Ve dvou různých případech byli ředitelé škol viděni nebo slyšeni, jak se rasisticky a násilně vyjadřují na adresu černošských studentů. V obou případech šlo o deepfakes (podvrhy) vytvořené umělou inteligencí – jeden vytvořili studenti a druhý nespokojený sportovní vedoucí, který byl později zatčen.
Podle neziskové skupiny zaměřené na regulaci umělé inteligence jsou deepfakes definovány jako „hlasy, obrázky nebo videa generované umělou inteligencí bez souhlasu, které jsou vytvořeny za účelem vytváření sexuálních obrazů, páchání podvodů nebo šíření dezinformací“.
Zatímco se vedoucí představitelé školství snaží nastavit politiku, která by zmírnila škody způsobené deepfakes, a státní zákonodárci pracují na kriminalizaci takových škodlivých činů, které se týkají škol nebo dětí, technologie pro boj s nástroji umělé inteligence, které mohou replikovat podobu a hlas člověka, zatím neexistuje, říká Andrew Buher, zakladatel a výkonný ředitel neziskové výzkumné organizace Opportunity Labs.
„Čeká nás spousta práce a to jak s prevencí, tak s reakcí na incidenty,“ řekl minulý měsíc během virtuální panelové diskuse o výuce digitální a mediální gramotnosti ve věku umělé inteligence, kterou uspořádal časopis Education Week. „Jde o společenskou normalizaci, [protože] technické zmírnění je ještě poměrně daleko.“
Legislativa se zaměřuje na deepfakes
29. září podepsal kalifornský guvernér Gavin Newsom zákon, který kriminalizuje dětské porno generované umělou inteligencí. Ve zlatém státě je nyní trestné vlastnit, zveřejňovat nebo předávat dál snímky osob mladších 18 let, které simulují sexuální chování.
Podobné nové zákony platí ve státech New York, Illinois a Washington.
Na celostátní úrovni navrhl senátor Ted Cruz (R-Texas) zákon Take It Down Act, který by kriminalizoval „úmyslné zveřejňování nekonsensuálních intimních vizuálních zobrazení“.
Federální návrh zákona definuje deepfake jako „video nebo obrázek, který je vytvořen nebo podstatně upraven pomocí technik strojového učení nebo jakýmikoli jinými počítačovými nebo strojově generovanými prostředky s cílem falešně zobrazit vzhled nebo chování osoby v rámci intimního vizuálního zobrazení“.
Školní obvody mezitím hledají návod, jak se vypořádat s novým problémem, který ohrožuje nejen studenty, ale i zaměstnance.
Na marylandské střední škole Pikesville High School byla v lednu pořízena falešná zvuková nahrávka ředitele. Vedení školy požádalo o pomoc místní policii a FBI.
Podezřelý Dazhon Darien, 31letý sportovní vedoucí, byl obviněn z krádeže, pronásledování, narušování školního provozu a msty vůči svědkovi.
V tiskové zprávě z 25. dubna na webových stránkách vlády okresu Baltimore se uvádí, že nahrávku pořídil, aby se pomstil řediteli školy, který vyšetřoval Darienovo údajné špatné nakládání se školními prostředky.
Jim Siegl, vedoucí technolog z Future of Privacy Forum, během panelové diskuse na Education Week uvedl, že vyšetřovatelé v baltimorském případu byli schopni spojit podezřelého s trestným činem na základě prozkoumání „starých počítačových přístupových záznamů“.
S dalším vývojem technologie umělé inteligence však podle něj může být nutné vyvinout systém vodoznaku pro generovaný zvuk nebo video, který by nahradil zastaralé systémy pro monitorování a zabezpečení používání školních počítačů.
V únoru 2023 se studenti střední školy ve městě Carmel ve státě New York pomocí umělé inteligence vydávali za ředitele střední školy. Deepfakes byly zveřejněny na TikToku. Vyšetřovatelům se podařilo propojit aktivity studentů s jejich účty. Podle prohlášení zveřejněného na facebookové stránce školního obvodu byli potrestáni v souladu se školním řádem, ale nebyli obviněni z trestného činu.
„Jako organizace, která se zavázala k rozmanitosti a inkluzi,“ uvádí se v prohlášení, „je školská rada Carmel Central School District zděšena a odsuzuje tato nedávná videa, jakož i zjevný rasismus, nenávist a neúctu k lidskosti, které se v některých z nich objevují.“
Jedna z rodičů, Abigail Lyonsová, uvedla, že jí kolegyně, která má také děti v okrese, ukázala text obsahující sedm různých videí.
„V podstatě jsem se z toho zhroutila,“ řekla Lyonsová, která je míšenka. „Bylo to strašné. Vypadalo to tak opravdově.“
Znovu se podívaly na videa a všimly si, že pohyby rtů a řeč těla jsou trochu odlišné od zvuku. Lyonsová uvedla, že většina rodičů v okrese už videa viděla nebo o nich slyšela a pravděpodobně věděla, že jde o deepfakes, ještě předtím, než vedení školy v Carmelu incident veřejně přiznalo a prohlásilo, že „k žádné hrozbě nedošlo“.
Lyonsová uvedla, že tato událost její dceru vyděsila a že události, jako je uzavření školy nebo havarijní cvičení, stále vyvolávají úzkost a strach pramenící z hlubokého podvrhu v roce 2023.
„Žáci sedmých tříd (americký školní systém funguje jinak než český – pozn. redakce) by se těmito věcmi neměli zabývat,“ řekla deníku Epoch Times.
Lyonsová prohlásila, že v tomto semestru zatím neví o žádném deepfake incidentu, ale studenti si navzájem vyhrožovali na sociálních sítích, včetně jednoho případu, který vedl k dvouhodinovému uzavření budovy.
„Stále nevíme, z jakého důvodu byla uzamčena,“ řekla. „Stále chybí transparentnost.“
Deník Epoch Times se obrátil na okresní úřady v Carmelu ve státě New York a v Baltimore County ve státě Maryland, ale nedostal odpověď.
Nový kalifornský zákon byl přijat na základě několika případů deepfake, při nichž se studenti stali oběťmi.
Patrick Gittisriboongul, asistent superintendenta pro technologie a inovace ve školském obvodu Lynwood Unified School District nedaleko Los Angeles, uvedl, že jeho obvod zavedl politiku nulové tolerance, která vyžaduje, aby personál informoval orgány činné v trestním řízení, poskytl služby obětem a nasadil plán reakce na incidenty s umělou inteligencí.
Okres omezuje používání umělé inteligence, používá filtry obsahu pro online funkce a vyžaduje, aby studenti a zaměstnanci dodržovali pokyny pro etické používání technologií.
„Incidenty v jiných okresech jižní Kalifornie nás přiměly přijmout proaktivní opatření,“ uvedl pro Epoch Times prostřednictvím e-mailu. „Vzhledem k rychlému nástupu umělé inteligence a jejímu možnému zneužití jsme vypracovali komplexní zásady, abychom zajistili, že náš okres bude připraven řešit případné budoucí problémy týkající se falešných obsahů nebo nevhodného obsahu generovaného umělou inteligencí.“
Centrum pro demokracii a technologie minulý měsíc uvedlo, že 40 % studentů a 29 % učitelů vědělo o deepfakes zobrazujících děti nebo dospělé spojené s jejich školou ve školním roce 2023/2024.
Zpráva vychází z průzkumu, kterého se zúčastnilo přibližně 3 300 respondentů z celé země, včetně rodičů a učitelů, z 6. až 12. třídy. 38 % respondentů považovalo obsah deepfake za urážlivý a 33 % jej označilo za sexuálně explicitní.
Podle zprávy většina učitelů uvedla, že nebyli proškoleni, jak reagovat na deepfakes, a že jejich okresy neaktualizovaly své zásady pro řešení těchto typů incidentů.
Zpráva také uvádí, že většina dotázaných učitelů uvedla, že jejich zaměstnavatelé přijali jen málo opatření k řešení hrozby deepfake podvodů. Méně než čtvrtina respondentů uvedla, že slovo deepfake bylo přidáno do okresních zásad sexuálního obtěžování nebo do kodexu chování žáků.
Zpráva uvádí, že učitelé se při trestání deepfake pachatelů nejraději obracejí na orgány činné v trestním řízení, druhou možností je dlouhodobé vyloučení a třetí poradenství.
Naopak rodiče mezi tři nejčastější možnosti nezařadili žádnou z těchto akcí. Uvedli, že dávají přednost poučení prvopachatelů o škodlivých dopadech deepfakes. Druhou volbou je poradenství a třetí varování.
Regulace umělé inteligence
Konsorcium neziskových organizací, včetně National Organization for Women, Future of Life Institute a Center for Human-Compatible Artificial Intelligence, začátkem tohoto roku zahájilo celosvětovou osvětovou kampaň Campaign to Ban Deepfakes (CBD).
CBD rozšiřuje online petici na podporu své výzvy ke kriminalizaci všech deepfakes a k odpovědnosti vývojářů technologií a tvůrců obsahu za jejich činy.
„Jediný účinný způsob, jak zastavit deepfakes, je zakázat je ve všech fázích produkce a distribuce,“ uvádí CBD na svých webových stránkách. Na webu se uvádí, že v letech 2022 až 2023 vzrostl počet deepfake sexuálního obsahu o 400 % a počet podvodů souvisejících s deepfake o 3 000 %.
„Neexistují žádné zákony, které by se účinně zaměřovaly na vytváření a šíření deepfakes a omezovaly je, a všechny současné požadavky na tvůrce jsou neúčinné,“ uvedla CBD.
Právní vodítka
Na internetu je k dispozici spousta bezplatných právních rad, které mohou školské obvody využít, aby předešly hrozbám.
Kalifornská firma specializující se na právo v oblasti vzdělávání – Atkinson, Andelson, Loya, Ruud & Romo (AALRR) – vydala před začátkem školního roku 2024/25 pokyny týkající se deepfakes, přičemž se odvolává na incidenty v okresech Carmel a Baltimore a také na incident ve státě Washington.
V druhém případě okresní úředníci uvedli, že nezavolali policii poté, co se jedna studentka stala obětí, protože jim právníci řekli, že nejsou povinni hlásit „falešné“ snímky.
Právníci společnosti AALRR odmítli poskytnout deníku Epoch Times rozhovor, ale na webových stránkách společnosti se uvádí, že okresy mohou být zažalovány za to, že na deepfakes nereagovaly odpovídajícím způsobem, a to podle zákonů, které předcházely zákonům o umělé inteligenci. Vedení škol doporučují, aby stanovilo zásady používání AI a vzdělávalo žáky v tom, jak lze AI zodpovědně používat i zneužívat.
Obtížnějším úkolem je pochopit a řešit akce, které se odehrávají mimo školní půdu, ale přesto mají dopad na školní komunity. Hranice mezi odpovědností rodičů a školy nejsou vždy jasné.
„Zneužití obsahu vytvořeného umělou inteligencí studenty pravděpodobně vyvolává podobné obavy týkající se prvního dodatku,“ uvádí se na webových stránkách AALR. „Škola, která by chtěla potrestat studenta za zneužití umělé inteligence mimo školu, by musela prokázat, že zneužití umělé inteligence studentem mělo podstatný dopad na školu.“
Zatímco se agentury snaží upevnit společenskou normu na celém světě, miliony studentů a zaměstnanců škol zůstávají zranitelní.
Vedoucí pracovníci ve školství by se měli snažit zvýšit povědomí o škodlivosti a důsledcích vydávání se za umělou inteligenci a vysvětlit školním komunitám, že používání této nové technologie k poškozování pověsti jiné osoby je formou obtěžování, uvedl Siegl.
„Nechte orgány činné v trestním řízení zjistit, zda se jedná o deepfake, nebo ne,“ uvedl.
