„To, čeho jsme nyní v podstatě svědky, je obdoba útoku typu denial-of-service. Skuteční výzkumníci se ztrácejí v záplavě informačního šumu,“ říká jeden z odborníků.
Akademici a odborníci na kybernetickou bezpečnost varují, že vlna falešných vědeckých studií vytvořených pomocí umělé inteligence (AI) tiše prochází kontrolami plagiátů a dostává se do vědeckých záznamů. Tento jev podle expertů ohrožuje budoucí důvěryhodnost vědeckého výzkumu tím, že posiluje dlouhodobě fungující odvětví podvodů známé jako „paper mills“.
Takzvané akademické paper mills – falešné organizace vydělávající na zfalšovaných studiích a autorství – sužují akademickou obec již řadu let a AI nyní působí jako násobitel jejich vlivu.
Někteří odborníci uvedli, že k vyřešení problému jsou zapotřebí strukturální změny, nikoli pouze lepší nástroje pro odhalování plagiátů.
Rozsah problému je ohromující – podle časopisu Nature bylo v roce 2023 po celém světě odhaleno a staženo více než 10 000 takových prací.
Univerzita v Boråsu ve Švédsku zjistila, že práce uměle vytvořené pomocí velkých jazykových modelů (LLM) se šíří napříč řadou akademických oborů a platforem, včetně služby Google Scholar. Ve studii zveřejněné v září na serveru medRxiv výzkumníci z University of Surrey konstatovali, že nástroje využívající LLM – například ChatGPT, Gemini a Claude – dokážou vytvářet věrohodně působící výzkum, který projde běžnými kontrolami plagiátů.
V květnu publikoval Diomidis Spinellis, odborník na informatiku a profesor na Aténské univerzitě ekonomie a podnikání, nezávislou studii o obsahu vytvořeném umělou inteligencí, který se objevil v časopise Global International Journal of Innovative Research. K výzkumu ho přivedlo zjištění, že jeho jméno bylo použito ve falešně připsaném autorství.
Spinellis uvedl, že pouze pět z 53 zkoumaných článků s nejnižším počtem citací v textu vykazovalo známky lidského zapojení. U zbývajících 48 článků byla hodnotícím způsobem potvrzena „vysoká pravděpodobnost“ obsahu vytvořeného umělou inteligencí.
Ve své analýze „balastní“ vědy, vytvořené umělou inteligencí zveřejněné ve službě Google Scholar, identifikovali švédští univerzitní výzkumníci více než 100 článků, u nichž existuje podezření, že byly vytvořeny pomocí AI.
Společnost Google na žádost Epoch Times o vyjádření nereagovala.
Autoři švédské studie uvedli, že hlavní obavou v souvislosti s výzkumem vytvořeným pomocí AI – ať už za asistence člověka, nebo bez ní – je možnost využití dezinformací ke „strategické manipulaci“.
„Riziko toho, čemu říkáme ‚manipulace s důkazy‘, výrazně roste, když se výzkum vytvořený umělou inteligencí šíří prostřednictvím vyhledávačů,“ říká autor studie Bjorn Ekstrom. „To může mít hmatatelné důsledky, protože nesprávné výsledky mohou pronikat dále do společnosti a potenciálně také do stále většího počtu oblastí.“
Švédský univerzitní tým poznamenal, že i v případě stažení těchto článků představují práce vytvořené AI další zátěž pro již tak přetížený systém odborného recenzního řízení.
Dalekosáhlé důsledky
„Nejškodlivější dopad záplavy balastní vědy vytvořené umělou inteligencí se projeví v oblastech výzkumu, které se týkají lidí,“ podotýká pro Epoch Times Nishanshi Shuklaová, odbornice na etiku AI z Western Governors University.
Shuklaová říká, že pokud je AI využívána k analýze dat, jsou lidský dohled a vyhodnocování zásadní.
„Když je celý výzkum generován umělou inteligencí, vzniká riziko homogenizace znalostí,“ upozorňuje.
„V krátkodobém horizontu to znamená, že veškerý výzkum, který se ubírá podobnými cestami a využívá podobné metody, je zatížen stejnými předpoklady a zkresleními a slouží pouze určitým skupinám lidí. Z dlouhodobého hlediska to znamená, že nevznikají žádné nové poznatky a produkce znalostí se stává cyklickým procesem postrádajícím lidské kritické myšlení.“
Také Michal Prywata, spoluzakladatel společnosti Vertus zaměřené na výzkum AI, se domnívá, že trend falešné vědy vytvářené umělou inteligencí je problematický – a jeho dopady jsou již patrné.
„To, čeho jsme nyní v podstatě svědky, je obdoba útoku typu denial-of-service [zahlcení systému],“ vysvětluje Prywata pro Epoch Times. „Skuteční výzkumníci se ztrácejí v záplavě informačního šumu, recenzenti jsou zahlceni a citační záznamy se znečišťují smyšlenými odkazy. Ztěžuje to identifikaci a ověřování skutečného vědeckého pokroku.“
Při své práci s pokročilými systémy AI se Prywata setkává s vedlejšími důsledky masového nasazení velkých jazykových modelů, což podle něj leží v samotném jádru problému.
„To je předvídatelný důsledek toho, že s AI zacházíme jako s nástrojem produktivity, místo abychom chápali, co inteligence skutečně je,“ podotýká. „LLM v současné podobě nejsou vytvořeny jako lidská mysl. Jsou to sofistikované systémy pro rozpoznávání vzorců, které mimořádně dobře produkují text znějící věrohodně – a přesně tak musí falešný výzkum vypadat, aby působil důvěryhodně.“
Podle Nathana Wenzlera, ředitele pro informační bezpečnost společnosti Optiv Security je v sázce budoucnost důvěry veřejnosti.
„Jakmile se do respektovaných časopisů a klíčových vědeckých přehledů dostává stále více nesprávného nebo zcela nepravdivého obsahu vytvořeného umělou inteligencí, krátkodobé i dlouhodobé důsledky jsou stejné: eroze důvěry,“ konstatuje Wenzler pro Epoch Times.
Wenzler říká, že z hlediska bezpečnosti nyní univerzity čelí jinému typu hrozby, pokud jde o krádeže duševního vlastnictví.
„Byli jsme svědky kybernetických útoků ze strany státních aktérů, které se přímo zaměřují na krádeže výzkumu z univerzit a výzkumných institucí. Tyto stejné státy pak následně zveřejňují výsledky prostřednictvím vlastních univerzit, jako by výzkum provedly samy.“
Wenzler upozorňuje, že to může mít obrovské finanční dopady na organizace, které spoléhají na granty při rozvoji legitimního vědeckého výzkumu, technologií, zdravotnictví a dalších oblastí.
Dále popisuje možný příklad z reálného světa: „AI by mohla být snadno využita k posílení těchto kybernetických útoků, upravit obsah odcizeného výzkumu právě natolik, aby vznikl dojem, že jde o jedinečný a samostatný obsah, nebo vytvořit falešný narativ o tom, že existující výzkum je chybný, a to generováním smyšlených protidůkazů, které podkopou důvěryhodnost původních dat a závěrů.“
„Potenciální finanční dopad je obrovský, ale způsob, jakým by to mohlo ovlivnit pokrok přinášející prospěch lidem po celém světě, je nevyčíslitelný.“
Prywata upozorňuje, že značná část veřejnosti již dnes zpochybňuje akademické instituce. „Děsí mě, že to urychlí zpochybňování vědeckých institucí ze strany veřejnosti. Lidé nyní mají důkaz, že systém lze ve velkém měřítku zneužívat. Řekl bych, že je to pro společnost nebezpečné.“
Příval falešných vědeckých prací vytvořených umělou inteligencí přichází v době, kdy důvěra veřejnosti ve vědu zůstává nižší než před pandemií covidu-19. Analýza výzkumného centra Pew Research Center z roku 2024 zjistila, že pouze 26 procent respondentů má velkou důvěru v to, že vědci jednají v nejlepším zájmu veřejnosti. Padesát jedna procent respondentů uvedlo, že mají poměrně velkou důvěru. Naproti tomu v roce 2020 vyjádřilo stejnou úroveň důvěry ve vědu 87 procent dotázaných.
Zároveň se mezi Američany prohlubuje nedůvěra vůči pokroku v oblasti umělé inteligence. Nedávná studie výzkumného centra Brookings Institution zjistila, že účastníci, kteří byli seznámeni s informacemi o pokrocích v AI, vykazovali vyšší míru nedůvěry v různých oblastech, včetně lingvistiky, medicíny a seznamování, ve srovnání s účastníky, kteří byli vystaveni informacím o ne-AI inovacích ve stejných oblastech.
Hledání řešení
Shuklaová uvádí, že podle jejího názoru je vlna výzkumu zfalšovaného pomocí AI důsledkem akademického tlaku na neustálé publikování nových studií.
„Za takových okolností, kdy počet publikovaných článků a citací určuje akademickou kariéru, představuje výzkum vytvořený pomocí AI rychlý způsob, jak získat náskok,“ poznamenává. „Prvním krokem k zastavení výzkumu zfalšovaného pomocí AI je proto zmírnění publikačního tlaku a zavedení lepších ukazatelů pro měření akademického úspěchu.“
Shuklaová zdůrazňuje význam osvětových kampaní zaměřených na výzkum vytvořený umělou inteligencí a zároveň potřebu zachovat „pevné standardy“ akademického publikování a ověřování pravosti výzkumu.
„Přestaňme odměňovat množství publikací a financujme na základě kvality citací a skutečného dopadu.“
– Michal Prywata, spoluzakladatel společnosti Vertus
Mezinárodní vědecká rada (International Science Council) uvedla, že publikování vědeckých prací je klíčovým faktorem při hodnocení univerzit i kariérním postupu akademiků. Tento „neúprosný tlak“ na publikování výzkumu za každou cenu měl přispět k nárůstu podvodných dat.
„Pokud se tento stav nezmění, může se celé výzkumné prostředí posunout k méně přísným standardům, což bude brzdit důležitý pokrok v oblastech, jako jsou medicína, technologie a klimatická věda,“ konstatuje Mezinárodní vědecká rada.
Aby toho nebylo málo, Prywata upozorňuje, že jakmile jsou data zfalšovaná pomocí AI publikována, mohou být následně využita k trénování nových modelů umělé inteligence, čímž vzniká zpětnovazební smyčka dezinformací.
V současnosti existuje jen málo pobídek, které by akademiky odrazovaly od publikování co největšího množství odborných materiálů. Objem publikovaného obsahu na univerzitní úrovni je již dlouhou dobu spojován s pracovní jistotou a přístupem k financování projektů.
„Řešením nejsou lepší nástroje pro detekci AI; to je závod ve zbrojení, který bude prohrán,“ podotýká Prywata. „Už nyní vznikají nástroje, jejichž cílem je detekci AI obejít.“
Dodává, že podle něj je třeba zcela změnit systém pobídek v akademickém publikování tak, aby výzkumníci i instituce nesli finanční odpovědnost za zveřejnění zfalšovaných prací.
„Přestaňme odměňovat množství publikací a financujme na základě kvality citací a skutečného dopadu,“ radí.
Wenzler doplňuje, že přestože recenzní řízení zůstává „zlatým standardem“ při ověřování výsledků výzkumu ve vědeckých časopisech je zásadní, aby skupiny provádějící recenze investovaly potřebný čas i technologie.
„Důkladně prověřujte výzkum a ověřujte všechny uvedené zdroje,“ doporučuje
Wenzler se také domnívá, že k ochraně integrity vědeckého výzkumu je zapotřebí širší spolupráce mezi akademickými institucemi a větší podpora ze strany vládních investic.
Systém recenzního řízení bohužel není bez problémů. Kvůli rostoucímu množství obsahu a časovým omezením je běžným jevem únava recenzentů. Situaci dále komplikuje skutečnost, že podle článku zveřejněného v březnu v časopise Nature hraje umělá inteligence stále větší roli i v samotném procesu recenzního řízení, což vyvolává novou vlnu obav ve vědecké komunitě.
„Zaveďte recenzní řízení s veřejně známou identitou recenzentů,“ navrhuje Prywata. „A také řádně financujte recenzní řízení, místo abyste spoléhali na neplacenou práci.“
–ete–
