Zatímco držení AI-generovaných nahých snímků dětí je v Británii trestné, samotné aplikace, které je vytvářejí, zůstávají legální. Komisařka varuje před jejich zneužitím.
Dětská komisařka pro Anglii Dame Rachel de Souza vyzvala vládu, aby zakázala nástroje využívající technologii deepfake – tedy uměle vytvořené falešné obrazové výstupy – k vytváření nahých snímků dětí.
Personalizované „nudifikační“ aplikace umožňují uživatelům generovat sexuálně explicitní snímky skutečných osob, což podle de Souza představuje „alarmující riziko“ pro bezpečnost dětí v online prostředí.
Ve zprávě zveřejněné v pondělí uvedla, že nástroje s umělou inteligencí schopné vytvářet nelegální snímky dětí jsou široce dostupné prostřednictvím vyhledávačů i obchodů s aplikacemi – a jejich používání je levnější než kdy dříve.
Zpráva upozorňuje, že oběťmi tohoto typu technologií se stávají převážně dívky a mladé ženy.
Jedna šestnáctiletá dívka se například ptá, proč je vůbec povoleno, aby takové aplikace existovaly: „Je to tak snadno dostupné, že kdokoli může takové fotky vytvořit, dát je na internet a… vyvolat obrovský rozruch jen několika kliknutími v mobilní aplikaci.“
Mnohé z těchto nástrojů přitom vůbec neověřují věk osob na nahraných fotografiích, což výrazně zvyšuje riziko zneužití dětí.
Zatímco držení generovaných sexuálních snímků dětí pomocí umělé inteligence (AI) je nelegální, současná legislativa nezakazuje samotné modely AI, které je vytvářejí.
De Souza proto vyzývá vládu, aby tyto aplikace zcela zakázala a zpřísnila regulaci, která by přenesla odpovědnost na technologické společnosti: „Online svět je revoluční a rychle se vyvíjí, ale neexistuje žádný pozitivní důvod, proč by takovéto aplikace měly existovat. V naší společnosti pro ně není místo.“
„Nástroje využívající technologii deepfake k vytváření nahých snímků dětí by neměly být legální. Vyzývám vládu, aby přijala rozhodná opatření a tyto nástroje zakázala dřív, než napáchají skutečné škody,“ dodává.
Nedostatečná legislativa
Na začátku roku 2025 oznámila britská vláda záměr rozšířit ochranu proti AI-generovanému sexuálnímu obsahu zahrnujícímu dospělé prostřednictvím zákona o využívání dat (Data Use and Access Bill) a zákona o trestní činnosti a policii (Crime and Policing Bill). Oba návrhy jsou zatím v parlamentním projednávání.
Zaměřují se ale především na postihování jednotlivců, kteří takový obsah vytvářejí nebo sdílejí – nikoliv na samotné technologie, které k tomu slouží.
Zákon o online bezpečnosti z roku 2023 ukládá platformám povinnost zabránit britským uživatelům v přístupu k nezákonnému obsahu, včetně materiálů znázorňujících sexuální zneužívání dětí. Technologické firmy mají také povinnost chránit děti před škodlivým obsahem, například pornografií.
Další ochranná opatření vstoupí v platnost v červenci 2025, kdy regulační úřad Ofcom zavede nové kodexy pro děti. Ty mají chránit děti před nevhodným obsahem a službami pro dospělé, ale nezakážou samotné nudifikační aplikace.
Podle zprávy dětské komisařky zůstávají děti bez potřebné ochrany před nově vznikajícími hrozbami spojenými s AI, pokud nebude přijata cílená legislativa.
Rostoucí hrozba deepfake technologií
Odhaduje se, že 99 procent sexuálně explicitních deepfake videí na internetu zobrazuje ženy a dívky. Nástroje AI jsou často trénovány na rozsáhlých databázích složených výhradně z ženských těl.
Zatímco častými terči jsou známé osobnosti jako Emma Watson, Scarlett Johansson nebo Millie Bobby Brown, zpráva varuje, že riziko hrozí i běžným ženám a školačkám.
Samotné děti se s tímto nebezpečným obsahem setkávají znepokojivě často.
Průzkum organizace Internet Matters z roku 2024 ukázal, že 13 procent britských teenagerů se s deepfake nahotou setkalo – ať už ji viděli, dostali nebo sdíleli.
Jiná studie organizace Girlguiding zjistila, že více než čtvrtina mladých lidí ve věku 13–18 let narazila na sexuálně explicitní deepfake zpodobňující celebrity, učitele, přátele – nebo dokonce je samotné.
Zpráva upozorňuje, že děti se zranitelností jsou ohroženy ještě více – 25 procent z nich uvedlo, že se setkaly se sexuálně explicitními deepfaky, což je více než dvojnásobek oproti ostatním vrstevníkům.
Dokument cituje i případy, kdy oběti následkem těchto útoků zažily posttraumatickou stresovou poruchu, sebevražedné myšlenky a v tragických případech i smrt – například čtrnáctiletá Mia Janin si v roce 2021 vzala život poté, co se stala terčem online útoků, včetně deepfake obrázků.
Úřad dětské komisařky zjistil, že nudifikační aplikace jsou otevřeně propagovány na sociálních sítích jako Instagram, Telegram nebo X (dříve Twitter) – a některé účty dokonce mají status X Premium, který bývá spojován s ověřenými uživateli.
Vyhledávání v hlavních obchodech s aplikacemi nadále vrací výsledky obsahující nudifikační nástroje, a to navzdory dřívějším zásahům. Vyhledávače Google a Bing navíc při zadání výrazů jako „deep nude“ (falešná nahá fotka) nebo „undress app“ (aplikace na svlékání) často navedou uživatele na explicitní obsah během několika kliknutí.
S rostoucím vlivem takzvané „deepfake ekonomiky“, jak ji nazývá Ofcom – tedy sítě webů, vývojářů a uživatelů profitujících z nevyžádaných sexuálních zobrazení – se situace dále zhoršuje. Otevřené AI modely, které lze volně upravovat, jsou zneužívány k vytváření personalizovaných nudifikačních služeb, bez odpovídající kontroly či odpovědnosti.
De Souza říká, že děti, které se zapojily do skupinových diskusí během přípravy zprávy, vyjádřily obavy ze zneužití technologií nudifikačních aplikací.
„Mají strach, že je kdokoli – cizí člověk, spolužák, nebo dokonce přítel – může pomocí chytrého telefonu zmanipulovat a vytvořit jejich nahý obrázek prostřednictvím těchto aplikací,“ zmínila.
–ete–
