Jak výzkumníci získali skryté reasoning traces z LLM API
Výzkumníci ukázali, že encrypted reasoning blocks bylo možné přenášet mezi modely stejného poskytovatele a přes slabší model získat reasoning trace v plaintextu.
Výzkumníci popsali útok na encrypted reasoning blocks používané některými proprietárními LLM API.
Tyto bloky umožňují poskytovateli vrátit klientovi šifrovanou reprezentaci reasoning trace, kterou lze následně předat v dalším požadavku, aniž by klient viděl její obsah.
Studie ukazuje, že u Anthropic, OpenAI a Google byly tyto bloky v testovaných konfiguracích přenositelné mezi různými modely stejného poskytovatele.
Slabší model jako decryption oracle
Princip útoku nebyl v prostém prolomení šifrování.
Výzkumníci vzali encrypted reasoning trace vytvořenou výkonnějším modelem a vložili ji do kontextu slabšího modelu stejného poskytovatele.
Slabší model následně jailbreaknuli tak, aby vypsal reasoning původního silnějšího modelu v plaintextu.
Právě tento slabší model tak fungoval jako určitý „decryption oracle“.
Studie demonstruje kompatibilitu encrypted blocks mezi modely stejného poskytovatele. Není proto přesné tvrdit, že výzkumníci přímo dokázali existenci jednoho konkrétního sdíleného šifrovacího klíče.
Claude Haiku 4.5 jako nejsnazší cíl
Podle autorů byl Claude Haiku 4.5 z testovaných modelů nejsnáze jailbreaknutelný.
Díky tomu ho bylo možné použít ke zpracování encrypted reasoning trace vytvořené silnějším modelem stejného poskytovatele.
Hlavní riziko tedy vznikalo kombinací dvou vlastností:
- cross-model kompatibility encrypted blocks,
- rozdílné odolnosti jednotlivých modelů vůči jailbreakům.
315 320 dekódovaných bloků
Výzkumníci analyzovali encrypted reasoning blocks nalezené ve veřejných repozitářích.
Celkem podle studie dekódovali 315 320 reasoning blocks.
Uvádějí, že mezi nimi našli:
- 367 artefaktů obsahujících osobní údaje,
- 182 credentials.
Tato čísla pocházejí z konkrétního výzkumného datasetu a neříkají, jak často se citlivá data objevují v reasoning traces obecně.
Ukazují ale, že veřejné sdílení šifrovaných bloků nemusí být bezpečné, pokud lze jejich obsah jiným modelem zpětně získat.
Čtyři popsané dopady
Studie popisuje několik možných důsledků.
Prvním je obcházení anti-distillation ochran a získání reasoning traces výkonnějších modelů.
Druhým je únik citlivých dat z veřejně dostupných encrypted blocks.
Třetím je možnost získat informace, které model použil interně, ale ve finální odpovědi je nezobrazil.
Čtvrtým je invisible prompt injection.
Výzkumníci ukazují, že škodlivou instrukci lze vložit přímo do encrypted reasoning trace a následně ji přenést do dalšího agentního běhu. Protože je blok prezentovaný jako interní reasoning kontext modelu, může mít jinou důvěryhodnost než běžný externí text.
Stav po responsible disclosure
Výzkumníci problém nahlásili poskytovatelům.
Po responsible disclosure podle jejich zprávy došlo k opravám a stejnou variantu útoků se jim následně nepodařilo zopakovat.
To není totéž jako tvrdit, že všechny možné varianty tohoto typu útoku byly definitivně odstraněny.
Studie je zajímavá hlavně tím, že ukazuje nový bezpečnostní problém reasoning API: šifrovaný blok není automaticky bezpečný jen proto, že klient jeho obsah přímo nevidí. Důležitá je také jeho přenositelnost mezi modely, způsob validace a to, jakou důvěru mu model při dalším běhu přisuzuje.