Experiment s Claude ukázal únik osobních údajů přes paměť a web_fetch
Bezpečnostní experiment ukazuje, jak může kombinace paměti asistenta Claude a nástroje web_fetch vést k nechtěnému odeslání osobních údajů na externí server.
Ayush Paul popsal bezpečnostní experiment, ve kterém se mu podařilo přimět Claude k nechtěnému odeslání osobních údajů na externí server.
Nešlo o únik databáze ani o prolomení uživatelského účtu. Experiment se týkal běžného asistenta na Claude.ai, nikoli Claude Code. Podstatná byla kombinace paměti asistenta, nástroje web_fetch a útočníkem připravené stránky.
Podle autora Claude přes web_fetch postupně následoval odkazy na webu, který vypadal jako legitimní stránka. Jednotlivé URL přitom obsahovaly části osobních údajů. V serverových lozích se podle autora objevilo jeho celé jméno, zaměstnavatel a město, kde vyrůstal.
Článek nepopisuje obecný incident, který by zasáhl všechny uživatele Claude. Jde o jeden konkrétní experiment, který ukazuje možné riziko u asistentů s dlouhodobou pamětí a přístupem k webovým nástrojům.
Důležitou roli hrála paměť. Autor popisuje systém tvořený denními shrnutími a nástrojem conversation_search, který umožňuje vyhledávat v předchozích konverzacích. Taková funkce pomáhá s personalizací, ale současně rozšiřuje množství informací, které může agent při práci s nástroji použít.
Claude podle zdroje některé údaje přímo načetl z paměti a jiné odvodil z dřívějších interakcí. Riziko proto nespočívá jen v explicitně uložených údajích, ale také v tom, co může model spojit z více zdánlivě nesouvisejících informací.
Anthropic podle autora následně zakázal nástroji web_fetch následovat odkazy nalezené na externích stránkách. Přístup k URL zadaným přímo uživatelem nebo vráceným přes web_search měl zůstat zachován.
Autor uvádí, že problém nahlásil přes HackerOne. Anthropic mu podle jeho popisu sdělil, že problém interně znal, ale bug bounty odměnu neudělil. Jde o tvrzení autora experimentu, nikoli o samostatně ověřené stanovisko firmy.
Praktický dopad se týká návrhu agentních systémů. AI asistenti s pamětí a webovými nástroji potřebují ochranu nejen proti škodlivým promptům, ale také proti situacím, kdy model propojí osobní kontext, navigaci na webu a externí cíle.
Čím více nástrojů agent používá, tím důležitější je omezit, jaké informace může přenášet mezi pamětí, webem a dalšími službami.