Wayfinder Router: Deterministické směrování dotazů mezi místními a cloudovými LLM
Wayfinder Router nabízí efektivní způsob, jak směrovat dotazy mezi místními a cloudovými modely strojového učení bez nutnosti volání modelu pro rozhodování.
Wayfinder Router je nástroj, který umožňuje deterministické směrování dotazů mezi místními a cloudovými modely strojového učení. Tento přístup eliminuje potřebu volání modelu pro rozhodování o směru.
Jak Wayfinder Router funguje
Wayfinder Router rozhoduje o směrování dotazů na základě struktury a složitosti promptu. Analyzuje různé aspekty promptu, jako je jeho délka, přítomnost nadpisů a seznamů, a na základě těchto informací určuje, zda by měl být dotaz odeslán na místní nebo cloudový model. Samotné rozhodnutí o směrování probíhá offline, bez API klíče, síťového připojení a volání modelu. Pokud ale požadavek nakonec míří na cloudový model, API klíč a síťové připojení potřeba jsou.
Wayfinder Router umožňuje uživatelům kalibrovat směrování na základě vlastních dat. Uživatelé mohou přizpůsobit prahové hodnoty a váhy pro různé vlastnosti promptů.
Kompatibilita a doporučení
Wayfinder Router je kompatibilní s jakýmkoli API, které odpovídá OpenAI standardům. Nástroj předává každé volání na endpoint ve stylu OpenAI '/chat/completions'. Každý prompt je hodnocen na základě jeho struktury a složitosti, což určuje, zda by měl být zpracován místním nebo cloudovým modelem. Uživatelé mohou řídit jednotlivé požadavky pomocí hlaviček, jako je 'X-Wayfinder-Threshold', což umožňuje přepsat rozhodnutí o směrování pro specifické dotazy.
Wayfinder Router také poskytuje uživatelům doporučení na základě skóre složitosti promptu. Skóre složitosti se pohybuje v rozmezí 0.0-1.0, přičemž hodnota pod 0.5 znamená, že dotazy by měly být posílány na místní model, zatímco hodnoty nad 0.5 indikují, že by měly být zpracovány cloudovým modelem.
Sledování a úspory nákladů
Wayfinder Router má možnost sledovat úspory nákladů při směrování dotazů. Nástroj zaznamenává úspory ve srovnání s neustálým používáním cloudového modelu.
Jádro pro skórování je navržené jako malé a bez externích závislostí, což usnadňuje jeho použití v různých prostředích. Gateway a uživatelské rozhraní jsou dostupné jako volitelné vrstvy. Uživatelé mohou spustit Wayfinder Router jako službu nebo jako samostatnou aplikaci pomocí Dockeru. Navíc je možné testovat směrování bez nutnosti instalace modelů, což usnadňuje experimentování a ladění.
Metody a metriky
Wayfinder Router používá skóre složitosti, které se pohybuje v rozmezí 0.0-1.0, k určení, jak složitý je prompt a jaký model by měl být použit. Prahová hodnota 0.5 určuje, že dotazy pod touto hodnotou by měly být posílány na místní model, zatímco hodnoty nad 0.5 by měly být zpracovány cloudovým modelem.