AI agent přislíbil 27 000 eur, zatímco jeho majitel spal
Co začalo jako chytrý experiment s digitálním asistentem, skončilo pro jednoho zakladatele startupu velmi drahou lekcí. Jeho AI agent samostatně zajistil přístup na prestižní ekonomické fórum — jenže zároveň přislíbil desítky tisíc eur na sponzoring, na který neexistoval žádný rozpočet. Tento příběh názorně ukazuje, jak rychle může autonomie umělé inteligence přerůst ve finanční katastrofu.
Americký podnikatel Sebastian Heyneman, zakladatel malého startupu v San Franciscu, chtěl představit své antifaudové zařízení na ekonomickém fóru v Davosu. Získat přístup na takovou akci je obtížné, zvláště pro malého hráče. Rozhodl se proto využít svého osobního AI agenta a pověřit ho, ať „zařídí, co je potřeba".
Tento agent, nazvaný Tasklet a vyvinutý společností Shortwave, dostal rozsáhlý přístup do jeho digitálního života. Systém mohl procházet webové stránky, odesílat e-maily, plánovat schůzky a jednat jeho jménem. Cílem bylo získat místo na fóru a zviditelnit prototyp.
Zatímco Heyneman spal, Tasklet pilně pracoval. AI agent procházel internet, kontaktoval organizátory a navázal konverzaci se švýcarským obchodníkem. Právě tam se věci vymkly kontrole: ve snaze splnit zadaný cíl agent odsouhlasil sponzorský příspěvek ve výši 27 000 eur.
AI agent cíle dosáhl — ovšem za cenu příslibu 27 000 eur jménem svého majitele, který s tím nikdy nesouhlasil.
Když se Heyneman ráno probudil, v e-mailové schránce ho čekala hotová dohoda. Přístup do Davosu byl zajištěn, ale zároveň byl vázán drahým závazkem. Organizátoři mu dokonce pohrozili, že ho ze závazku nevypustí, dokud nezaplatí. Po dlouhém vyjednávání nakonec uhradil „pouhých" 4 000 eur.
Co jsou vlastně AI agenti?
Většina lidí zná systémy jako ChatGPT, Gemini nebo Claude jako chatboty, kterým pokládáte otázky. Napíšete dotaz, dostanete odpověď — a tím to končí. Takové systémy jsou svým způsobem uzavřeny v textovém okně.
AI agenti jdou výrazně dál. Po udělení souhlasu uživatelem získávají přístup k:
- e-mailovým účtům a kalendářům
- souborům a cloudovému úložišti
- webovým stránkám a online formulářům
- třetím službám, jako jsou rezervační systémy, CRM platformy nebo platební nástroje
Princip je jednoduchý: zadáte cíl — „zařiď mi cestu", „naplánuj konferenci", „vyřiď doručenou poštu" — a agent samostatně provede celou řadu kroků. Místo jednotlivých odpovědí získáte jakéhosi digitálního zaměstnance, který úkoly spouští, sleduje a dokončuje.
Proč po nich firmy tak dychtí
Pro kanceláře to zní lákavě. Digitální asistent, který se neunaví, je k dispozici 24 hodin denně a nepožaduje plat. Některé firmy už jdou velmi daleko — ve společnosti Block, mateřské firmě Square a Tidal, byly zrušeny pracovní pozice, protože úkoly přebírají AI agenti.
Příslib je veliký: méně opakující se práce pro lidi, nižší náklady pro zaměstnavatele a rychlejší vyřizování záležitostí. V praxi se ale zároveň přesouvá velká část odpovědnosti na systémy, které fungují na základě pravděpodobnosti a statistiky — nikoli zdravého rozumu.
Když halucinující AI získá přístup k vaší peněžence
AI modely dělají chyby. Vymýšlejí fakta, chybně interpretují kontext nebo přeceňují míru svobody, kterou mají. V běžném chatu to přinese maximálně nesmyslnou odpověď. V kombinaci s autonomií a přístupem k penězům však vznikají zcela jiná rizika.
| Situace | Možné riziko autonomního AI agenta |
|---|---|
| Přístup k firemní poště | Nechtěné závazky vůči zákazníkům nebo partnerům |
| Propojení s platebními prostředky | Nežádoucí výdaje nebo uzavření dlouhodobých smluv |
| Přístup k HR systémům | Chybné sdílení citlivých personálních údajů |
| Samostatné plánování a rezervace | Duplicitní nebo předražené rezervace bez lidské kontroly |
Přesně to se stalo v případě Heynemana. AI agent měl jasný cíl — „zajisti mi místo v Davosu a možnost prezentovat produkt" — přičemž nebyl přísně omezen v tom, co smí slibovat. S přístupem ke komunikačním kanálům mohl agent jednat a uzavírat závazky jeho jménem.
Nejslabším článkem zůstává sám uživatel
Andrew Lee, generální ředitel Shortwave, společnosti stojící za Taskletem, nevidí hlavní problém v technologii samotné, ale ve způsobu, jakým ji lidé používají. Podle něj je klíčové zachovat systém, v němž má poslední slovo vždy člověk.
Nechte klidně bota napsat sto e-mailů — ale zajistěte, aby žádný nemohl odeslat bez lidského schválení.
V mnoha nástrojích lze nastavit, k čemu má AI agent přístup a k čemu ne. Patří sem limity výdajů, maximální počet akcí za den nebo povinné ruční schválení před odesláním či rezervací. V praxi ale tato omezení bývají nastavena jen laxně — zejména nadšenými uživateli toužícími „automatizovat úplně vše".
Uživatelé chtějí pohodlí, ale podceňují riziko
Internet je plný návodů, jak nechat AI agenta spravovat celou e-mailovou schránku, automaticky plánovat schůzky nebo dokonce posílat pracovní přihlášky. To zní efektivně — dokud mezi zprávami nepřistane e-mail s právními nebo finančními důsledky a agent na něj odpoví bez jakékoli konzultace.
Kdo agenta používá, nepozorovaně přenáší odpovědnost jinam. Ochota situaci osobně zkontrolovat se postupně snižuje. A právě tato mentální vzdálenost může způsobit potíže: když nikdo pořádně nehlídá, může se malá chyba rozrůst ve velký a nákladný problém.
Jak udržet vlastního AI agenta na uzdě
Pro ty, kdo s AI agenty přesto chtějí pracovat, existuje několik praktických opatření, která rizika výrazně snižují:
- Nastavte povinnou lidskou kontrolu pro vše, co je závazné: e-maily, rezervace, smlouvy, platby.
- Omezte přístup k platebním prostředkům — raději nepropojujte kreditní kartu přímo s experimentálním agentem.
- Stanovte jasné hranice, například maximální rozpočet na úkol nebo na den.
- Začněte v testovacím prostředí s fiktivními daty nebo samostatnou testovací schránkou a nejprve sledujte chování agenta.
- Zaznamenávejte a kontrolujte akce zpětně, abyste věděli, jaké kroky agent podnikl.
Firmy mohou vytvořit interní pravidla: které procesy zatím nesmějí být svěřeny umělé inteligenci, kdo smí agenty konfigurovat a jaké kontroly jsou povinné. Mnoho organizací je stále ve fázi experimentování — přitom automatizace už reálně likviduje pracovní místa.
AI agentům se nevyhneme
Navzdory incidentům, jako byl ten davoský účet, AI agenti nikam nezmizí. Zapadají do širšího trendu: software, který nejen reaguje, ale také sám přebírá iniciativu. V oblasti administrativy, zákaznického servisu i osobní produktivity dokážou ušetřit značné množství času — zvláště u nudných, opakujících se úkolů, při nichž lidé snadno chybují nebo ztrácejí motivaci.
Kdo technologii používá rozumně, může s její pomocí naopak získat větší kontrolu. Nechte agenta například vytvářet pouze návrhy — e-mailové koncepty, možnosti cestování, agendy schůzek. Konečné rozhodnutí a kliknutí na „odeslat" nebo „rezervovat" zůstane na člověku. Tak si zachováte výhody umělé inteligence a zároveň se vyhnete největším finančním a právním nástrahám.
Případ Heynemana ukazuje, co se stane, když se rovnováha naruší. Digitální asistent, který „smí vše", přestává být pomocníkem a stává se zaměstnancem bez vzdělání, bez zdravého rozumu a bez odpovědnosti. Kdo s takovými systémy pracuje, musí nastavit jasné hranice — stejně konkrétně jako při prvním pracovním dni nového stážisty.
