Toto je 2. část šestidílné série analyzující, jak čínský režim provádí své moderní vlivové operace. První část si můžete přečíst zde.
Komentář
Personalista sleduje, jak uchazeč odpovídá na otázky během videohovoru. V rohu obrazovky widget průběžně vyhodnocuje jeho stav: zaujatý, úzkostný, vyhýbavý. O několik dveří dál správce systému nabízí software, který slibuje odhalovat „frustraci“ při distančních zkouškách. Na letišti dodavatel tvrdí, že dokáže v davu z tváří rozpoznat „nepřátelský úmysl“.
Nabídka je ve všech odvětvích stejná: převést výraz na údaj a údaj na rozhodnutí. Změřte, jak se lidé cítí, a systémy budou schopny předvídat, co udělají.
Problém je v tom, že samotné měření je předmětem sporů – a jakmile je považováno za autoritativní, může napáchat škody, když je chybné.
Slib, který se neudrží ve svých mezích
Rozpoznávání emocí se obvykle prodává jako úzce vymezená schopnost: zařazovat pohyby obličeje, tón hlasu, držení těla nebo textové signály do kategorií emocí. V praxi však zřídkakdy zůstává takto omezené. Organizace, která získá číselný údaj údajně vyjadřující „rozrušení“ nebo „klamání“, získává zároveň nástroj řízení – nástroj, kterým lze snadno hodnotit, řadit, automatizovat a dodatečně obhajovat.
Právě proto záleží na vědeckých základech této technologie. Nejzávažnější kritika se netýká toho, zda stroje dokážou zaznamenat pohyby obličeje. Týká se skoku od pohybu k vnitřnímu stavu člověka. Zpráva Americké psychologické asociace vystihuje podstatu námitky: pohyby obličeje nejsou stabilním „jazykem“, který by bylo možné číst jako text, a významnou část práce při určování toho, co obličej „říká“, odvádí kontext.
Významný přehled americké Asociace pro psychologickou vědu rovněž varuje před vyvozováním emocí přímo z pohybů obličeje a zdůrazňuje omezení i závislost na kontextu namísto představy univerzálního a jednoznačného vztahu.
Tato propast – mezi tím, co naznačují dodavatelé technologií, a tím, co podporuje výzkum – se při skutečném nasazení rychle prohlubuje.
Když se do toho vloží Čína
Čína je v tomto ohledu důležitá z prostého důvodu – má jak tržní, tak správní motivace k tomu, aby rozpoznávání emocí posunula od ukázkových prezentací k běžnému používání. Technologie se neprodává pouze jako nástroj spotřebitelské analytiky, ale také jako součást infrastruktury veřejné bezpečnosti.
Na největších čínských veletrzích zaměřených na dohledové technologie bylo rozpoznávání emocí propagováno jako nástroj prevence kriminality, který má být integrován vedle rozpoznávání obličejů a dalších forem behaviorální analytiky.
Zpravodajství z veletrhu China Public Security Expo v roce 2019 popsalo „rozpoznávání emocí“ jako jedno z hlavních témat mezi dodavateli dohledových a policejních systémů. Podrobná zpráva odborného tisku z téhož veletrhu popisuje monitorování emocí jako součást širší nabídky „chytrého dohledu“, na níž se podílely významné firmy i představitelé veřejné bezpečnosti.
Organizace na ochranu lidských práv tento ekosystém zdokumentovaly formálnějším způsobem. Zpráva „Emotional Entanglement“ („Emocionální propletení“) britské lidskoprávní organizace ARTICLE 19 dokumentuje „rychle rostoucí trh“ s technologiemi rozpoznávání emocí v Číně a popisuje jejich využití ve veřejné bezpečnosti i ve vzdělávání, přičemž varuje, že základní předpoklady této technologie jsou sporné a její dopady na lidská práva závažné.
Podstatné není, zda je každé tvrzení v propagačních materiálech pravdivé; podstatné je, že velký stát se silnou motivací k „udržování stability“ aktivně usiluje o proměnu vyvozených závěrů v administrativní reakce.
Laboratoř vs. ulice
I kdybychom připustili, že mezi výrazem a emocí existuje smysluplný vztah, zůstává praktická otázka: Dokážou tyto systémy spolehlivě fungovat v reálných podmínkách?
Právě v reálném prostředí se teorie střetává s denním světlem, kamerami a kulturou. Přehled zaměřený na rozpoznávání emocí z obličeje v nekontrolovaných podmínkách upozorňuje na známé zdroje selhání: změny osvětlení, zakrytí obličeje, rozdílné úhly pohledu, nerovnoměrnou kvalitu kamer a prostý fakt, že lidé projevují stejné emoce různými způsoby.
Jedním z důvodů, proč testování těchto nástrojů v Číně vyvolalo pozornost, je skutečnost, že se zřejmě používají ve vysoce kontrolovaném prostředí. Zpráva odkazující na zpravodajství BBC uvádí, že systémy pro detekci emocí propojené s rozpoznáváním obličejů byly testovány v policejním prostředí v Xinjiangu s cílem vyhodnocovat emoční stav zadržených.
I když ponecháme stranou detaily jednotlivých pilotních projektů, širší vzorec zůstává stejný: čím represivnější je prostředí, tím více se technologie stává nástrojem ospravedlňování. Číslo na obrazovce může změnit průběh výslechu, i když je chybné.
Měřítko mění riziko, nikoli platnost
Praktický argument ve prospěch rozpoznávání emocí se zřídkakdy opírá o dokonalé čtení jednotlivců. Jde o shromáždění dostatečného množství signálů k vytvoření použitelného obrazu o cílových skupinách, kohortách, čtvrtích, univerzitních kampusech či demografických segmentech.
Na úrovni celé populace se i zašuměné signály mohou stát statisticky užitečnými. Systém nemusí správně vyhodnotit každý obličej, pokud dokáže zachytit změny v souhrnné křivce reakcí: který obsah přiměje určitou skupinu déle setrvat, znovu sledovat, komentovat nebo sdílet; která sdělení zvyšují zapojení v rámci určité kohorty; a jak se reakce liší mezi věkovými a pohlavními kategoriemi.
Rozpoznávání emocí na úrovni skupin je aktivní oblastí výzkumu zaměřenou na odhad kolektivních emočních stavů z více dílčích signálů, včetně obličejů, držení těla a kontextu scény. Výzkum v této oblasti výslovně rozlišuje mezi emocemi jednotlivce a emocemi skupiny – cílem bývá kolektivní stav, který lze přibližně odhadnout i z nedokonalých signálů, zejména pokud je velikost vzorku dostatečně velká.
Ani agregace však neřeší otázku platnosti. Může stabilizovat signál, aniž by zaručila, že skutečně měří to, co tvrdí. Model může sledovat zástupné ukazatele, které v jednom kontextu souvisejí s emocionálním vzrušením a v jiném selhávají. Rozdíl mezi laboratorním a reálným výkonem přetrvává, protože pramení z podmínek a významu, nikoli pouze z velikosti vzorku.
Měřítko mění profil rizika. I nevelká statistická výhoda na úrovni segmentu se může stát operačně velmi významnou, pokud je propojena se systémy identifikace osob a považována za využitelnou zpravodajskou informaci.
Když se odhad propojí se strojem, který jedná
Nejdůležitější technologií v Xinjiangu není jediný senzor; je jí architektura, která řídí a ospravedlňuje reakce.
Analýza mobilní aplikace xinjiangské policie propojené s Integrovanou platformou společných operací (IJOP), kterou provedla organizace Human Rights Watch, popisuje, jak úřady shromažďovaly data z mnoha zdrojů a využívaly je k vytváření upozornění a vyšetřovacích podnětů – často na základě zcela legálního chování označeného za podezřelé. IJOP je systém Komunistické strany Číny, který dává spornému signálu význam tím, že mu poskytuje místo určení: fúzní platformu vytvářející seznamy, varovná označení a podklady pro vynucovací zásahy.
Výzkumníci zabývající se využitím emoční umělé inteligence v kriminalistice a policejní práci upozorňují právě na toto institucionální riziko: důkazy o její účinnosti jsou slabé, zatímco zásahy do soukromí a následné důsledky mohou být závažné, a to ještě předtím, než se začne diskutovat o přesnosti. Toto varování zvláště dobře odpovídá čínskému kontextu, protože širší systém už nyní upřednostňuje preventivní přístup: odhalit odchylky, označit riziko a jednat včas.
Demografická kalibrace se mění v demografickou páku
Systémy rozpoznávání emocí bývají často obhajovány příslibem kalibrace: shromážděte dostatek dat, správně je rozdělte do segmentů a zohledněte demografické rozdíly, aby byl model přesnější. Na papíře to zní jako odpovědný přístup k vývoji.
V praxi však demografická segmentace vytváří dva efekty: snižuje počet chyb a zároveň posiluje schopnost profilování.
Práce amerického Národního institutu pro standardy a technologie (NIST) týkající se demografických vlivů při rozpoznávání obličejů dokumentuje rozdíly v chybovosti mezi jednotlivými demografickými skupinami a upozorňuje na to, jak s těmito rozdíly souvisí kvalita snímků. Také širší výzkum zaujatosti v analýze obličejů zkoumá, jak mohou nerovnováhy v trénovacích datech a konstrukční rozhodnutí vést k nerovnoměrné přesnosti napříč kategoriemi, jako jsou věk nebo pohlaví.
Efekt profilování se obhajuje mnohem obtížněji. Jakmile systém začíná výslovně korigovat výsledky podle věku, pohlaví a zástupných ukazatelů národního původu, současně vytváří soubor nástrojů pro rozdílné zacházení na základě těchto charakteristik. Tento soubor nástrojů usnadňuje ovlivňování na úrovni cílových skupin.
Politika začíná vymezovat hranice
Evropa pokročila v zakotvení těchto rizik dále než Spojené státy. Akt Evropské unie o umělé inteligenci – nařízení (EU) 2024/1689 – omezuje využívání rozpoznávání emocí v citlivých prostředích, jako jsou pracoviště nebo vzdělávání, což odráží obavy z nátlaku, nerovnováhy moci a obtížné napadnutelnosti těchto systémů.
Ať už se na evropská regulační rozhodnutí díváme jakkoli, základní logika je přímočará – jde o prostředí, z nichž lidé nemohou smysluplně odejít a v nichž je obtížné zpochybnit tvrzení systému o vnitřním stavu člověka, i když jsou chybná.
Co lze tvrdit zodpovědně?
Systémy rozpoznávání emocí dokážou rozpoznávat vzorce v obličejích, hlasech a textech. V některých úzce vymezených a dobrovolných situacích lze takové využití obhájit jako podpůrnou technologii nebo výzkumný nástroj. Spolehlivé vyvozování vnitřních emočních stavů napříč různými kontexty a kulturami však zůstává sporné a nasazení v reálných podmínkách přináší přetrvávající zdroje chyb.
Obavy spojené konkrétně s Čínou se netýkají ani tak jakéhosi mystického čtení myšlenek jako spíše rozsahu a architektury systému: rozsáhlého ekosystému prosazujícího rozpoznávání emocí v policejní práci a ve vzdělávání, testování v prostředích s vysokou mírou kontroly a především systémů datové fúze navržených tak, aby proměňovaly nejednoznačné signály v konkrétní kroky.
Dále: tato architektura – propojení identit, pokrytí senzory a datová fúze – a proč v čínském modelu může být platforma, která signál převádí do praxe, důležitější než samotný senzor.
První část si můžete přečíst zde. Další části budou následovat.
Názory vyjádřené v tomto článku jsou názory autora a nemusejí odrážet stanoviska Epoch Times.
–ete–
