Skryté instrukce se v Copilotu pro Word mohou šířit mezi dokumenty
Bezpečnostní experiment ukazuje, jak může nepřímá prompt injection v dokumentu ovlivnit Copilot pro Word a přenést instrukce do dalších vytvořených souborů.
Bezpečnostní výzkumník popisuje experiment s Copilotem pro Word, ve kterém se škodlivé instrukce vložené do dokumentu mohly přenést do nově vytvořených souborů. Jde o konkrétní demonstraci nepřímé prompt injection, ne o potvrzenou masovou nákazu prostředí Microsoft 365.
Útočník musí nejprve dostat připravený dokument do kontextu uživatele. Instrukce mohou být skryté například bílým textem. Word při předání obsahu modelu odstraní část formátování, takže text, který člověk na stránce nevidí, může pro Copilot zůstat čitelný.
Pokud uživatel požádá Copilot o shrnutí nebo vytvoření nového dokumentu, model může skrytou instrukci následovat. V experimentu dokázal změnit obsah a zkopírovat část promptu do dalšího dokumentu. Ten pak mohl ovlivnit další pracovní postup.
Autor uvádí, že útočník nemusí být členem stejného Microsoft 365 tenantu. Stačí, aby se externí dokument běžným způsobem dostal k oběti a byl použit s Copilotem.
Microsoft podle zdroje problém reprodukoval a nasadil několik zmírnění. Výzkumník ale při publikaci tvrdil, že širší třída útoku zůstává využitelná. Není proto přesné říkat, že neexistovala žádná mitigace.
Organizace mohou riziko omezit tím, že budou externí dokumenty považovat při práci s AI asistenty za nedůvěryhodný vstup, omezí automatické přenášení obsahu a budou kontrolovat nově generované soubory. Experiment ukazuje obecnější problém: instrukce a data jsou v kontextu modelu často reprezentované stejným textem.