Jak tým Claude Code používá Claude Tag, evaly a automatizovanou kontrolu kódu

Simon Willison v rozhovoru s Cat Wu a Thariqem Shihiparem z týmu Claude Code probíral interní pracovní postupy, Claude Tag, automatizovanou kontrolu kódu a změny, které přinášejí výkonnější modely.

Claude Tag a produktové pull requesty

Claude Tag je interní podoba Claude integrovaná do Slacku. Může pracovat proaktivně, sdílet kontext mezi členy týmu a pamatovat si preference konkrétního kanálu.

Cat Wu uvedla, že interní verze Claude Tagu vytváří přibližně 65 % produktových pull requestů produktového inženýrského týmu Claude Code. Tento údaj se nevztahuje na celý Anthropic ani na všechny jeho vývojové týmy.

Interní testování nových funkcí

Nové funkce tým nejprve zpřístupňuje zaměstnancům Anthropicu a vybraným prvním zákazníkům. Před veřejným uvedením sleduje, zda překročí interní hranici aktivního používání a udržení uživatelů.

Podle Cat tento postup pomáhá odfiltrovat funkce, které interní uživatelé nezačnou pravidelně používat. Nejde ale o záruku kvality nebo použitelnosti pro všechny zákazníky.

V rámci firemní kultury tým pro tento způsob používání vlastních produktů používá označení „ant fooding“, tedy interní variantu běžného pojmu dogfooding.

Kratší systémový prompt

Thariq uvedl, že systémový prompt Claude Code se zkrátil o 80 %. U novějších modelů podle něj přestávají být dlouhé seznamy příkladů a zákazů vždy užitečné a někdy mohou výsledek naopak zhoršit.

Zkrácení promptu proto není samo o sobě důkazem vyšší kvality. Spíš ukazuje, že novější modely potřebují méně explicitních instrukcí než starší generace.

Automatizovaná kontrola kódu a evaly

Kritické změny v jádru Claude Code nadále schvalují lidští vlastníci konkrétních částí kódu. U méně citlivých vrstev se ale tým stále více spoléhá na automatizovanou kontrolu.

Incidenty a chyby zpětně přidává do evaluačních sad, aby je budoucí verze kontrolního systému dokázaly zachytit.

Rozhovor zmiňuje také Auto Mode, který pomocí dalšího klasifikátoru vyhodnocuje nástrojová volání a kontext požadavku. Anthropic tvrdí, že tím snižuje rizika prompt injection a exfiltrace dat. Cat ale zároveň připustila, že systém nezachytí všechny možné případy.

Model jako součást kreativního pracovního postupu

Thariq popsal také použití modelu Fable při editaci videa. Model podle něj zpracoval záznam přednášky, prezentaci a zvuk, provedl přepis, střih a dynamické ořezávání obrazu pomocí nástrojů jako FFmpeg a Remotion.

Fable v tomto případě nebyl samostatný specializovaný videoeditor. Šlo o model, který řídil existující nástroje v rámci delšího pracovního postupu.

Změny v práci produktových inženýrů

Cat popsala změnu v produktovém vývoji: cesta od nápadu k první implementaci se podle ní v některých případech zkrátila z šesti až dvanácti měsíců přibližně na týden.

Proto podle ní roste význam produktového úsudku a obchodního kontextu. U infrastruktury ale stále zůstává důraz na přesnost, technické detaily a pečlivou kontrolu změn.

Rozhovor tak neukazuje konec specifikací nebo lidské kontroly. Spíš popisuje tým, který část implementace a kontroly deleguje na modely, ale u citlivých částí systému nadále zachovává lidské schvalování a průběžné evaly.