Automatizované směrování modelů v Claude, Codex a Cursor

Nový projekt nabízí inteligentní směrování modelů pro různé API.

5. října 2023

Nový projekt na GitHubu, vyvinutý firmou Weave, představuje router, který automaticky vybírá nejlepší model pro každou žádost. Tento router podporuje API pro známé modely jako Claude, Codex a Gemini.

Router využívá cluster scorer, který analyzuje žádosti a na základě toho vybírá nejvhodnější model. To znamená, že vývojáři se nemusí starat o to, který model použít pro konkrétní úlohu, protože router se postará o optimalizaci volby.

Router je možné spustit lokálně na portu 8080, což usnadňuje testování a vývoj. Pro instalaci stačí použít příkaz npx @workweave/router.

Router také podporuje sledování pomocí OTLP a integraci s nástroji jako Honeycomb, Datadog a Grafana. Zajímavé na tom je, že router používá šifrování pro uchovávání klíčů na místním zařízení.

Kromě toho router poskytuje endpointy pro různé API volání, což usnadňuje integraci s existujícími aplikacemi. Mezi podporované modely patří nejen Claude a Codex, ale také další jako DeepSeek, Kimi, GLM, Qwen, Llama a Mistral.

Je však důležité mít na paměti, že některé funkce mohou být v beta verzi a nemusí být plně optimalizovány.