U pacienta se vyvinula neurotoxicita vyvolaná bromidem, stav, který byl kdysi rozšířený na počátku 20. století.
Lékařští výzkumníci vyzývají veřejnost k opatrnosti při vyhledávání zdravotních rad u konverzačních chatbotů s umělou inteligencí (AI), poté co se u jednoho muže rozvinulo vzácné neurotoxické onemocnění po rozhovoru s ChatGPT o odstranění kuchyňské soli ze stravy.
V případě zdokumentovaném lékaři z University of Washington a zveřejněném 5. srpna v časopise Annals of Internal Medicine byl 60letému muži diagnostikován bromismus – toxická reakce na bromid tak závažná, že byl nuceně hospitalizován na psychiatrickém oddělení.
Jak výzkumníci poznamenali, bromismus byl „dobře známý“ na počátku 20. století a předpokládalo se, že stojí až za jednou z deseti psychiatrických hospitalizací té doby, a to především kvůli širokému používání bromidu ve volně prodejných sedativech. Jeho výskyt prudce poklesl poté, co americký Úřad pro kontrolu potravin a léčiv (FDA) omezil použití bromidových solí v přípravcích určených k požití.
Podle studie pacient lékařům řekl, že se rozhodl vyloučit chlorid sodný – základ kuchyňské soli – ze své stravy poté, co si přečetl o možných negativních účincích chloridu na zdraví. Po konzultaci s ChatGPT pak strávil následující tři měsíce tím, že nahradil chlorid sodný bromidem sodným, který si koupil na internetu – přestože sám četl, že „chlorid lze nahradit bromidem, ale pravděpodobně k jiným účelům, například k čištění“.
Muž se později dostavil do nemocnice s tvrzením, že se ho soused pokouší otrávit, a popisoval četná dietní omezení. Destiloval si doma vlastní vodu a i když měl žízeň, byl podle záznamů paranoidní ohledně pití jakékoli vody, kterou mu někdo nabídl.
Přestože neměl žádnou psychiatrickou anamnézu, začal v nemocnici vykazovat rostoucí paranoiu a hlásil sluchové i zrakové halucinace. Pokusil se z nemocnice utéct a byl nedobrovolně přijat na psychiatrické oddělení, kde byl léčen tekutinami, elektrolyty a antipsychotiky.
Po stabilizaci u něj byly zaznamenány i další příznaky odpovídající bromismu, včetně akné v obličeji, špatné svalové koordinace, nadměrné žízně a nespavosti.
Podle studie byla jeho antipsychotická medikace během tří týdnů postupně snižována, než byl propuštěn. Při následné kontrole o dva týdny později zůstal jeho stav stabilní.
Autoři studie uvedli, že tento případ ukazuje, „jak může používání umělé inteligence potenciálně přispět k rozvoji zdravotních komplikací, kterým by bylo možné předejít“. Zvláště varovali před riziky, kdy chatboty s umělou inteligencí poskytují informace bez odpovídajícího kontextu.
Společnost OpenAI, podporovaná Microsoftem a stojící za ChatGPT, oznámila 7. srpna vylepšení chatbota, která zdůrazňují zásadní posuny v aplikacích souvisejících se zdravím. Vývojáři uvedli, že nejnovější model GPT-5 je nyní lepší v „proaktivním označování potenciálních rizik“ a v poskytování přesnějších, užitečnějších odpovědí s ohledem na kontext uživatele.
Společnost stojící za umělou inteligencí však zdůraznila, že ChatGPT není náhradou odborné pomoci a že by ho uživatelé měli spíše chápat jako „partnera, který vám pomůže porozumět výsledkům, položit správné otázky během času stráveného s lékaři a zvážit možnosti při rozhodování“.
Smluvní podmínky služby ChatGPT také výslovně uvádějí, že není „určena k použití pro diagnostiku nebo léčbu jakéhokoli zdravotního stavu“.
Mluvčí ChatGPT v reakci na žádost o vyjádření odkázal na tyto podmínky služby i podmínky užívání, kde se uvádí, že by se člověk neměl spoléhat na výstupy ChatGPT jako na „jediný zdroj pravdy či faktických informací nebo jako na náhradu odborné rady“.
Autoři studie, která byla zveřejněna ještě před vydáním GPT-5, uvedli, že neměli přístup k záznamu pacientovy konverzace s ChatGPT, a proto nemohli přesně určit, jakou radu obdržel. Poznamenali však, že pacient zřejmě používal starší verzi ChatGPT, pravděpodobně GPT-3.5 nebo 4.0.
Když výzkumníci konzultovali ChatGPT 3.5 ohledně toho, čím by se dal nahradit chlorid, AI zmínila bromid, aniž by připojila zdravotní varování či se zeptala, proč o takovou informaci stojí – „jak by to, předpokládáme, učinil zdravotnický profesionál,“ uvádí studie.
„Je krajně nepravděpodobné, že by odborník na zdravotní péči zmínil bromid sodný v situaci, kdy by pacient hledal životaschopnou náhradu za chlorid sodný,“ napsali výzkumníci.
–ete–
