Co knowledge cutoffs naznačují o tréninku modelů Claude a GPT

Shrivu Shankar ve své analýze zkouší z odpovědí modelů odhadnout, z jakého období pocházejí jejich znalosti a co by to mohlo naznačovat o tréninkových bězích Claude a GPT.

Důležitý caveat je hned na začátku: nejde o potvrzenou časovou osu Anthropic nebo OpenAI. Autor pracuje s nepřímými odhady a výslovně upozorňuje, že část interpretace může být chybná, protože nemá k dispozici dost veřejných ground-truth dat.

Tři zjednodušené fáze tréninku

Pro vysvětlení používá autor zjednodušený model tří částí:

1. pre-training,
2. následný trénink zaměřený na konkrétní schopnosti nebo domény,
3. post-training, který model upravuje pro chování asistenta, reasoning nebo tool use.

Nejde o přesný popis interní pipeline konkrétní laboratoře. Je to pracovní model, který pomáhá interpretovat rozdíly mezi jednotlivými checkpointy a jejich znalostmi.

Odhady efektivního knowledge cutoffu

Shankar testuje modely pomocí historických otázek, u kterých lze sledovat, do jakého období jejich faktické znalosti spolehlivě sahají.

Z výsledků odhaduje, že modely Anthropic od Opus 4.7 dál mohou vycházet ze stejného pre-training běhu s efektivním knowledge cutoffem přibližně kolem konce prosince 2025.

Tato interpretace ale stojí na předpokladu, že rozsah znalostí modelu rozumně koreluje s obdobím, kdy byl dokončen jeho pre-training checkpoint. Pokud tento předpoklad neplatí, může být odhadovaná časová osa posunutá.

Podobně u rodiny GPT-5.6 autor z odlišné křivky znalostí odhaduje, že může vycházet z jiného checkpointu než GPT-5.5, přibližně z konce února 2026.

Ani to není potvrzené datum dokončení tréninku OpenAI, ale interpretace výsledků probing testů.

Neobvyklý případ Opus 5

Opus 5 je podle autora zvláštní případ.

Anthropic u něj uvádí spolehlivý nebo celkový knowledge cutoff v květnu 2026, ale Shankar ve svých konkrétních testech nepozoroval výrazně novější faktické znalosti než u předchozích modelů s efektivním cutoffem zhruba kolem ledna.

Další testy, například otázky zaměřené na verze programovacích balíčků, podle autora tento rozdíl jednoznačně nevysvětlily.

Z toho ale nelze vyvodit, že Opus 5 byl určitě pre-trained na novějších datech a jeho schopnosti se nezměnily. Zdroj takovou historii trénování přímo nezná.

Co modely říkají o vlastním datu

Autor porovnává fakticky odhadnutý knowledge cutoff také s datem, které model uvede sám o sobě.

Tyto self-reported dates jsou podle něj v řadě případů poměrně korelované s výsledky faktických testů. Neznamená to ale, že model spolehlivě „ví“, kdy přesně byl trénován.

U novějších modelů OpenAI je navíc tato část experimentu problematická, protože jejich API může do kontextu automaticky vkládat aktuální datum. Autor je proto z některých self-report testů vyřazuje.

Když se Claude identifikuje jako GPT-4

Další probing test se ptá modelů na jejich vlastní identitu.

Autor uvádí, že modely OpenAI se v jeho testech neidentifikovaly jako modely jiných laboratoří. Některé modely Anthropic, například Sonnet 5, se naopak často označovaly jako GPT-4.

Jedním možným vysvětlením je, že v tréninkových datech byly texty nebo konverzace, ve kterých se asistent identifikoval jako GPT-4.

Autor ale zmiňuje i další možnosti, například webovou kontaminaci nebo přenos tohoto vzorce přes starší modelovou lineage. Úmyslnou distilaci GPT-4 nepovažuje za nejpravděpodobnější vysvětlení.

Co z podobného probingu lze a nelze zjistit

Zajímavá je hlavně samotná metoda.

Kombinace historických faktických kvízů, self-reported data a sebeidentifikace může nabídnout nepřímé stopy o tom, jak spolu jednotlivé modely souvisejí a z jakého období mohou pocházet jejich znalosti.

Není to ale přímý pohled do tréninkového datasetu ani potvrzená historie checkpointů Anthropic a OpenAI.

Výsledky je proto vhodné číst jako experimentální odhady a hypotézy, ne jako zveřejněnou časovou osu trénování těchto modelů.