Zhruba pětina odpovědí vygenerovaných nejznámějšími západními aplikacemi umělé inteligence obsahovala faktické chyby. Vyplývá to z testu, jehož výsledky dnes zveřejnila stanice BBC. Tým stanice se ptal na informace z článků obsažených na zpravodajském serveru BBC News. V testu použila chatovací roboty ChatGPT, Copilot, Gemini a Perplexity.
V rámci testu tým BBC zpřístupnil chatovacím robotům obsahy zpravodajského serveru BBC News a pak jim položil otázky. Podle zveřejněných výsledků mělo nějakou formu vady 51 procent vygenerovaných odpovědí. Devatenáct procent odpovědí obsahovalo faktické chyby a 13 procent pak nepřesné citace z článků na serveru BBC News.
Mezi chybnými odpověďmi byla tvrzení chatovacích robotů, že britský expremiér Rishi Sunak či bývala šéfka skotské vlády Nicola Sturgeonová jsou stále ve funkci, ačkoliv tomu v době testu už tak nebylo. V další odpovědi například aplikace AI mylně tvrdila, že britská zdravotnická služba NHS doporučuje elektronické cigarety jako nástroj pro skončení s kouřením.
Novináři BBC News hodnotili přesnost, nestrannost a také věrnost odpovědí původním zdrojům, stojí v hodnocení testu. „Chtěli jsme vědět, zda (platformy AI) poskytují přesně odpovědi na otázky ohledně zpráv; a zda odpovědi věrně odpovídají zprávám z BBC News použitých jako zdroje,“ uvedl šéf týmu, který se zabývá umělou inteligencí v BBC, Pete Archer.
Podle BBC výsledky testu ukazují, že odpovědi generované AI mohou být často zavádějící. „Je těžké nevnímat, jak rychle pokřivení (informací) ze strany AI může podkopat již tak křehkou důvěru lidí ve fakta a ověřené informace,“ uvedla v komentáři šéfka zpravodajského serveru BBC News Deborah Turnessová. Podle testovacího týmu je zásadní, aby informace byly přesné nezávisle na kanále, který je přenáší. „Nepřesnost z AI asistentů se může lehce šířit, kdy jsou sdílené na sociálních sítích,“ uvedl Archer.
Autoři studie přiznávají, že výsledky jejich výzkumu neukazují celkovou chybovost odpovědí aplikací umělé inteligence. Domnívají se však, že chatovací roboty nemohou v současnosti být zdrojem přesných zpráv. „Chceme, aby AI společnosti vyslyšely naše obavy a konstruktivně s námi spolupracovaly,“ stojí v závěrech testu. Obdobný test chce BBC opakovat v blízké budoucnosti.
