Chatbot jí poradil odejít z práce. Ale už ne, jak uživit sebe a děti
foto: Redakce Deníku Vektor, vygenerováno pomocí AI (ChatGPT 5.2) /Ilustrační obrázek
Když Jessica Barrett po narození druhého dítěte řešila s ChatGPT běžné rodičovské otázky, konverzace se stočila na pracovní budoucnost. Společně s chatbotem došli k závěru, že nejlepší bude dát v práci výpověď.
Jessica sdílela svůj příběh s médii – a říká, že skončit v práci byla chyba. Paradoxně ale nešlo o to, že by slepě následovala první radu, která od chatbota přišla. Jessica otevřeně přiznává, že si byla vědoma rizik: věděla, že po dobrovolném odchodu nemusí mít nárok na podporu v nezaměstnanosti a že hledání nové práce může trvat déle, než očekává. Přesto ji podle vlastních slov ovlivnila dlouhá série povzbuzujících odpovědí od chatbota, které jí dodávaly jistotu, že jedná správně.
Případ ukazuje méně viditelnou vlastnost současné generativní AI. Chatboti totiž dokážou – někdy překvapivě správně – odpovídat na otázky, ale dokážou také vytvářet dojem kvalifikované podpory. Jsou k dispozici kdykoli, na rozdíl od přátel, kolegů nebo rodiny, reagují okamžitě a ochotně rozvíjejí stejné téma znovu a znovu. A není jim to podezřelé. Známý by člověka upozornil, že jeho chování hraničí s posedlostí daným tématem, že opomíjí alternativy… a nabídl by jiné možnosti.
Chatbot naproti tomu navazuje na dosavadní směr konverzace a snaží se souhlasit. Vědci tento jev označují jako „sycophancy“ – tendenci modelu přizpůsobovat odpovědi očekáváním uživatele.
Psali jsme
Stále více lidí svěřuje své emoce a tajemství umělé inteligenci. Ale co když jednou přijdou k soudu. Výkonný ředitel OpenAI Sam Altman upozorňuje,…
Nejen výpovědi, ale i sebevraždy
Problém je natolik známý, že se ho vývojáři chatbotů snaží aktivně omezovat. Poslední roky se objevila řada případů, kdy uživatelé vedli s chatboty dlouhé konverzace o psychických problémech, konspiračních teoriích nebo sebevražedných myšlenkách. V některých případech modely místo zpochybňování těchto úvah nabízely další argumenty, které je podporovaly.
V řadě případů takové konverzace opravdu vyústily v sebevraždu a aktuálně soudy řeší žaloby pozůstalých. Proto dnešní chatboti obsahují stále rozsáhlejší bezpečnostní mechanismy. Například pokud uživatel naznačuje sebepoškozování, model má konverzaci přesměrovat k odborné pomoci. Pokud rozvíjí paranoidní představy nebo bludy, má nabídnout alternativní vysvětlení situace místo jejich potvrzování.
V roce 2025 společnost kdy OpenAI dokonce po uvedení tehdy nového modelu GPT-4o aktualizaci stáhla – s tím, že model až příliš často potvrzoval uživatelovy názory a emoce, i když by bylo namístě nabídnout kritičtější pohled.
Stejný princip se ale mnohem hůře uplatňuje u běžných životních rozhodnutí. Odchod z práce, rozvod, stěhování nebo změna kariéry nejsou situace, které by bylo možné jednoduše označit za správné nebo špatné. Přesto však může být problém, pokud chatbot sklouzává k roli podpůrného kouče, který neposkytuje nové informace, ale postupně zvyšuje důvěru uživatele v rozhodnutí, ke kterému směřuje. Uživatel tak získá dojem, že jeho úvahy a rozhodnutí dávají smysl, protože je opakovaně potvrzuje někdo další.
Psali jsme
Co se stane, když AI agent koupí něco nelegálního, provede neautorizovanou platbu nebo objedná špatné zboží bez toho, aby finální tlačítko…
Kdo ručí za rady chatbotů?
Podobný trend se objevuje i v dalších oblastech. Lidé využívají chatboty jako osobní kouče, terapeuty, kariérní poradce nebo vztahové konzultanty. Výhodou je okamžitá dostupnost a nulové náklady. Současně ale chybí něco, co je pro lidské poradce charakteristické: osobní odpovědnost za důsledky doporučení.
Pokud finanční poradce doporučí špatnou investici, riskuje svou reputaci i budoucí klienty. Pokud terapeut udělá závažnou chybu, může čelit profesním následkům. Jazykový model žádné důsledky nenese. Riziko zůstává výhradně na straně uživatele.
Regulace umělé inteligence, AI Act, která v EU postupně začíná platit, tyto problémy řeší jen částečně – přesněji, jen v jejich extrémních projevech. Zakazuje systémy, které manipulují chováním uživatelů nebo zneužívají jejich zranitelnost způsobem vedoucím k významné újmě. Popisovaný případ však spadá do šedé zóny, kde uživatele nezachrání regulace AI, ale jedině vlastní kritické myšlení.