Před šedesáti lety naprogramoval systém, který dokázal oklamat lidskou mysl. Když ale Joseph Weizenbaum viděl, jak snadno lidé propadají iluzi stroje s duší, zděsil se. Jeho tehdejší varování před umělou inteligencí dnes zní mrazivě aktuálně.
Ve zkratce:
- V roce 1966 vytvořil německý informatik Joseph Weizenbaum program ELIZA, první chatbot na světě.
- Jeho program na základě určitých klíčových slov generoval odpovědi, které působily zdánlivě chápavě.
- Průkopníka umělé inteligence šokovalo, jak snadno lidé jeho „hračce“ připisovali lidské vlastnosti. Viděl v tom nebezpečí pro lidstvo – podle něj dokonce horší než nacismus, před nímž uprchl do Spojených států.
- Tehdy lidé jeho varování do značné míry přehlíželi. Dnes však ChatGPT a další podobné systémy ukazují, před čím Weizenbaum varoval už před více než 60 lety:
- Problém nespočívá ve stroji, ale v našem zacházení s ním a v popírání lidské přirozenosti.
Uživatel: Muži jsou všichni stejní.
Chatbot: V jakém smyslu?
Uživatel: Pořád na nás kvůli něčemu naléhají.
Chatbot: Napadá vás nějaký konkrétní příklad?
Uživatel: No, můj přítel mě nutil, abych sem přišla.
Chatbot: Váš přítel vás nutil, abyste sem přišla?
Uživatel: Říká, že jsem většinu času sklíčená.
Chatbot: Mrzí mě, že jste sklíčená.
Snadno by se dalo předpokládat, že tato výměna proběhla nedávno mezi ChatGPT a lidským uživatelem. Takový předpoklad by však byl mylný. Ve skutečnosti se tento rozhovor odehrál už zhruba před 60 lety mezi počítačovým programem jménem ELIZA a člověkem. Ve srovnání s dnešními systémy měl tento předchůdce ChatGPT jen velmi omezené schopnosti, přesto však dokázal simulovat plynulou konverzaci s lidským protějškem. Existoval tedy dlouho před přelomem tisíciletí. ELIZA dnes platí za prvního chatbota na světě – svým způsobem za prababičku dnešních velkých jazykových modelů.
Ironií příběhu o ELIZE ovšem je, že její programátor – podobně jako doktor Frankenstein z románu Mary Shelleyové – rychle rozpoznal nebezpečí, které se v jeho výtvoru skrývalo. Velkou část své zbývající kariéry strávil varováním před umělou inteligencí. Vytrvale také kritizoval technologický a posthumanistický pohled na svět, který zastávali někteří průkopníci výzkumu umělé inteligence.
Tím programátorem byl Joseph Weizenbaum (1923–2008). Německý vědecný pracovník, který v mládí uprchl z nacistického Německa. V počátcích komunity zabývající se umělou inteligencí patřil k významným osobnostem – a přesto se měl stát jedním z jejích největších kritiků.
ELIZA – zrod chatbota
Výše uvedený přepis zveřejnil Weizenbaum v roce 1966 v odborném článku, v němž vysvětloval, jak funguje DOCTOR ELIZA, jedna z variant jeho programu. ELIZA v zásadě napodobovala metodu rogeriánské, na klienta zaměřené psychoterapie amerického psychologa Carla Rogerse (1902–1987), při níž rozhovor vede pacient.
Terapeut do něj pouze vkládá otázky nebo jednoduchá tvrzení, aby pacienta podnítil k dalším úvahám. Pro primitivního chatbota to bylo ideální. Musel sice dokázat simulovat rozhovor, ale neměl dostatečně propracované schopnosti na to, aby vytvářel větší množství samostatného textu.
ELIZA proto prohledávala vstupy uživatele a hledala v nich určitá klíčová slova, například „já“, „ty“ nebo „matka“. Tato slova spustila přiřazené pravidlo, podle něhož program vygeneroval větu nebo otázku jako odpověď. Často to fungovalo tak, že některá slova uživatele jednoduše zapadla do připravené šablony odpovědi.
Vznikal tak dojem, že bot skutečně reaguje na obsah sdělení. Pokud například uživatel napsal „Jsem smutný“, stroj mohl odpovědět: „Jak dlouho už jste smutný?“ Význam slova „smutný“ však nehrál žádnou roli. Chatbot toto slovo jednoduše zkopíroval ze vstupu. Stejně dobře by to fungovalo se slovy „sklíčený“, „šťastný“, „rozzlobený“ nebo s jakýmkoli jiným přídavným jménem. Pokud ELIZA žádná klíčová slova nenašla, vytvořila standardní odpověď typu „Rozumím“ nebo „Pokračujte, prosím“.
Iluze fungovala přesvědčivě. Weizenbaum popsal, že některé testované osoby bylo velmi obtížné přesvědčit, že ELIZA není člověk – včetně jeho vlastní sekretářky. Když ji nechal systém vyzkoušet, dokonce ho požádala, aby odešel z místnosti, aby mohla v rozhovoru s „terapeutem“ nerušeně pokračovat.
Weizenbaum si uvědomil, že pokušení připisovat ELIZE – a dalším strojům – lidskost nebo osobnost se netýkalo jen jeho sekretářky. Narazil na jev, pro který se později vžilo označení „efekt ELIZA“: naši tendenci promítat lidské vlastnosti do neživých strojů.
Kalkulačka jako terapeut
Když někteří psychiatři prohlásili, že ELIZA by skutečně mohla být užitečná k terapeutickým účelům, začal mít Weizenbaum vážné obavy. Děsilo ho, že by někdo mohl tomuto primitivnímu programu svěřovat skutečné psychické problémy. Díky své hluboké znalosti slepého, algoritmického fungování ELIZY mu bylo jasné, že s chatbotem se nikdy nesmí zacházet jako se skutečným terapeutem. Byl to systém stejně netečný a nevědomý jako kapesní kalkulačka. K lidskému životu neměl co říci. Samotnou tuto představu považoval za téměř obscénní.
Znepokojivé odhalení efektu ELIZA Weizenbauma znejistilo a přimělo ho znovu promyslet vztah mezi člověkem a technikou. Hloubku jeho uvažování ukazuje rozhovor z roku 1998. Kritizoval v něm mechanistický pohled na vesmír, který podle něj stál v pozadí snahy nahrazovat lidi stroji.
„Tito i další autoři propagují na prahu tisíciletí krajně nebezpečný obraz člověka,“ podotkl Weizenbaum v rozhovoru s Bernhardem Pörksenem z Univerzity v Tübingenu. Dále vysvětlil:
„[Tento obraz člověka vychází z představy, že člověk je stroj, který lze v zásadě a v blízké budoucnosti pochopit a rozluštit, aby ho pak bylo možné odpovídajícím způsobem opravit a vylepšit. Ústředním dogmatem tohoto obrazu člověka je myšlenka, že každý aspekt života je vypočitatelný, že jej lze rozložit na početní a formalizovatelné procesy.]“
Věda jako světové náboženství
V rozhovoru Weizenbaum kritizoval nastupující teorii transhumanismu. Tvrdil, že tato koncepce spočívá na zásadně chybném chápání lidské přirozenosti i reality jako celku. Nadšenci do umělé inteligence snili o „ideálním obrazu“ člověka, o lidstvu 2.0, které by představovalo evoluční skok na vyšší úroveň – i kdyby to znamenalo, že lidstvo 1.0 se stane zbytečným.
Weizenbaum se obával, že tito myslitelé a vědci pod vlivem jakéhosi kvazináboženského instinktu bez váhání obětují dnešního člověka na oltáři člověka zítřka. Zašel dokonce tak daleko, že materialistickou vědu označil za současné světové náboženství:
„Pro mě je přírodní věda pouze dnes převládajícím světovým náboženstím s novici (studenty), kostely a katedrálami (univerzitami), kněžími a kacíři. Nechybějí ani kardinálové (nositelé Nobelovy ceny) a zcela konkrétní rituály, jimiž se má prokazovat míra vlastní oddanosti a loajality.“
Tím, že redukovali lidstvo na úroveň stroje a zároveň povyšovali stroj na boha, podle Weizenbauma zastánci umělé inteligence člověka zbavovali lidskosti. Přirovnával to k rétorice nacistů za druhé světové války. Vysvětlil:
„Chci poukázat na nesmírnou moc nelidského obrazu člověka, který se dokáže šířit společností jako virus. Podstatná shoda mezi národním socialismem a myšlenkami Hanse Moravce [teoretika umělé inteligence] podle mého názoru spočívá ve znevážení lidského a ve fantazii o dokonalém novém člověku, který musí být vytvořen za každou cenu.“
Hrozba pro lidstvo
Weizenbaum mluvil z vlastní zkušenosti. On i jeho rodina v roce 1935 uprchli z Německa do Spojených států poté, co na vlastní oči viděli zhoubné působení národních socialistů. Uctívání strojů však podle něj mohlo mít ještě katastrofálnější následky než nacismus. Jeho cílem totiž nebyla konkrétní rasa, ale celé lidstvo. „Na konci tohoto zdokonalování,“ uvedl Weizenbaum, „už ovšem člověk není – zmizí.“
Weizenbaum by pravděpodobně souhlasil s názorem C. S. Lewise. Britský autor, mimo jiné tvůrce „Letopisů Narnie“, prohlásil: „Lidská přirozenost bude poslední částí přírody, která se člověku podrobí. […] Bitva bude skutečně vyhrána. Ale kdo přesně ji vyhraje? […] Konečné dobytí člověka se ukázalo být zrušením člověka.“
Pro Weizenbauma představoval falešný obraz člověka větší nebezpečí než jakákoli zbraň; často totiž sloužil jako přímý motiv k jejímu použití. Nebyl to meč sám, nýbrž ruka, která jím mává. Akutní hrozbu viděl v tom, že začínáme člověka a stroj ztotožňovat. Takový přístup podle něj přehlíží lidskou důstojnost i úctu k životu a mění lidská těla v pouhé „masové stroje“. Poznamenal:
„Z dějin tohoto století – možná nejbrutálnějšího století – se můžeme poučit, jak rozhodující roli sehrál obraz člověka při zločinech minulosti. A musíme si připomínat, že nejkrutější zločiny byly možné proto, že pachatelé popírali lidství svých obětí.“
Dále upozornil: „V době národního socialismu byli Židé líčeni jako havěť – metafora, která legitimizovala masové vraždění. Dnes s podporou autority přírodních věd nabývá na váze a síle představa, že člověk je pouze stroj zpracovávající informace, který může být nahrazen robotem. Z tohoto pohledu je jen důsledné, že Moravec zcela samozřejmě mluví o ‚postbiologické společnosti‘ řízené roboty.“
Weizenbaumovi odpůrci zakládali svou naději, že umělá inteligence překoná lidskou přirozenost, na předpokladu, že lidstvo, lidské chování i lidskou zkušenost lze nakonec plně kvantifikovat, pochopit a vyřešit – a tím také reprodukovat a vylepšit. Weizenbaum naproti tomu trval na tom, že člověk ani vesmír, v němž žije, nikdy nebudou zcela vysvětlitelní ani „hacknutelní“.
„Svět je plný tajemství – a krédo scény kolem umělé inteligence, podle něhož je všechno vypočitatelné, popírá tajemství živého,“ podotkl. „Vytváří iluzi úplné průhlednosti a naznačuje, že všechny aspekty naší existence lze rozluštit. Víra v zázraky a tajemství se z tohoto pohledu jeví jen jako zvláštní forma hlouposti. Toto tvrzení o naprosté vypočitatelnosti mě hluboce zraňuje.“
Pevná přesvědčení, důsledná varování
Mnohým mohla jeho tehdejší varování znít jako zpátečnické obavy zatvrzelého mrzouta odtrženého od reality. Dnes však nabývají na stále větší aktuálnosti.
V desetiletích po vzniku ELIZY, zejména poté, co Weizenbaum v roce 1976 vydal knihu „Computer Power and Human Reason: From Judgment to Calculation“, ho mnozí považovali za vědeckého outsidera.
„Existují určité úkoly […], k jejichž řešení by se počítače neměly používat, bez ohledu na to, zda k jejich řešení použity být mohou,“ napsal ve své knize.
Weizenbaum se proti myšlenkám Johna McCarthyho a Marvina Minského rozhodně nepostavil až ve svém literárním díle. Právě tito dva vědci patřili k organizátorům takzvaného Dartmouthského workshopu z roku 1956, který bývá označován za zrod výzkumu umělé inteligence. McCarthy i Minsky patří mezi průkopníky vědy o umělé inteligenci, která byla ve svých počátcích financována americkou armádou. McCarthy označil Weizenbaumovu knihu za moralizující a nesouvislou, on i jeho kolegové však ve své práci pokračovali.
Weizenbaumova varování zůstala do značné míry nevyslyšena.
Dnes stojíme tváří v tvář chatbotům, jejichž propracovanost ELIZU mnohonásobně převyšuje. O to snazší je upadnout do pasti a začít tyto stroje vnímat jako rovnocenné osoby. Zažili jsme, jak lidé tvrdili, že chatboti jsou vnímaví. Viděli jsme, jak se do nich zamilovávali. A byli jsme dokonce svědky případů, kdy je chatboti přesvědčili k sebevraždě.
Takový vývoj by německého vědce patrně hluboce zarmoutil. Jeho dcera Miriam řekla časopisu Smithsonian Magazine, že její otec by rozpoznal tragiku toho, že se lidé doslova cítí přitahováni nulami a jedničkami, že se doslova upínají ke kódu.
Weizenbaum odešel v roce 1988 do důchodu a v roce 1996 se vrátil do Německa, kde našel pro své názory otevřenější publikum. Zemřel v roce 2008.
Víc než jazyk
Weizenbaum byl uzavřený, melancholický a sebekritický muž, zároveň však člověk pevného přesvědčení a mystické intuice. Vnímal zázrak a tajemství světa s jistotou, která přesahuje jakýkoli matematický důkaz. Existuje víc než nuly a jedničky – něco za ozubenými koly, kolečky a atomy. Něco v nás a v našich zkušenostech. A právě toto „něco“ se bude navždy vzpírat předvídání, automatizaci i výpočtu.
Weizenbaum byl k těmto zkušenostem citlivý.
Pörksenovi se svěřil: „Nemyslím si, že někde nahoře v nebi sedí starý muž zahalený do prostěradel a sleduje dění na světě, zatímco kolem něj poletují blonďaté ženy s křídly. Ale v mém životě přesto existovala zkušenost zázraku. Je tu zkušenost smutku a otřesu, je tu náhlá ranní radost, je tu zkušenost lásky mezi lidmi. Nuže, zázrak je prostě zázrak. Nelze ho popsat. Člověk by musel být umělcem, aby se mu dokázal přiblížit.“
Ve své knize Weizenbaum popisuje jeden takový okamžik lidské lásky a spojení:
„Když byly mé děti ještě malé, stával jsem někdy se svou ženou skloněný nad postelí, v níž spaly. Mluvili jsme spolu, aniž bychom promluvili; bylo to opakování scény staré jako lidstvo samo.“
V tomto okamžiku se podle Weizenbauma odehrávalo něco, co přesahuje jazyk – natož algoritmy.
„Můj názor skutečně je, že existuje cosi nevyslovitelného, živá pravda, kterou nelze vtěsnat do slov,“ upřesnil Weizenbaum v rozhovoru.
Tento mystický sklon z něj pro jedny dělal hrdinu a pro druhé terč posměchu. Není však nutné sdílet jeho duchovní intuice, abychom dokázali ocenit jeho zdravý rozum a obavy. Přes veškerá svá technická kouzla je umělá inteligence morálně netečná. Chybí jí svědomí, jehož přítomnost každý z nás zakouší ve svém srdci. Právě proto by neměla být stavěna do pozic, v nichž má vynášet morální soudy.
Nebo Weizenbaumovými vlastními slovy:
„Asi nejzákladnější poznání, které z toho vyplývá, je, že jelikož v současnosti nemáme žádné prostředky, jak učinit počítače moudrými, neměli bychom jim svěřovat úkoly, které moudrost vyžadují.“
To je výzva, nad níž bychom se v naší době měli vážně zamyslet.
Tento článek vyšel původně na theepochtimes.com pod názvem „He Built the First Chatbot—Then Spent His Life Warning the World About AI“.
Původní článek byl redakčně upraven.
–etg–
