Wayfinder Router: Deterministické směrování dotazů mezi místními a cloudovými LLM
Wayfinder Router nabízí efektivní způsob, jak směrovat dotazy mezi místními a cloudovými modely strojového učení bez nutnosti volání modelu pro rozhodování.
Wayfinder Router je nástroj, který umožňuje deterministické směrování dotazů mezi místními a cloudovými modely strojového učení. Tento přístup eliminuje potřebu volání modelu pro rozhodování o směru.
Jak Wayfinder Router funguje
Wayfinder Router rozhoduje o směrování dotazů na základě struktury a složitosti promptu. Analyzuje různé aspekty promptu, jako je jeho délka, přítomnost nadpisů a seznamů, a na základě těchto informací určuje, zda by měl být dotaz odeslán na místní nebo cloudový model. Tento proces probíhá v mikrosekundách a běží offline, což znamená, že není potřeba API klíč ani síťové připojení.
Wayfinder Router umožňuje uživatelům kalibrovat směrování na základě vlastních dat. Uživatelé mohou přizpůsobit prahové hodnoty a váhy pro různé vlastnosti promptů.
Kompatibilita a doporučení
Wayfinder Router je kompatibilní s jakýmkoli API, které odpovídá OpenAI standardům. Nástroj předává každé volání na endpoint ve stylu OpenAI '/chat/completions'. Každý prompt je hodnocen na základě jeho struktury a složitosti, což určuje, zda by měl být zpracován místním nebo cloudovým modelem. Uživatelé mohou řídit jednotlivé požadavky pomocí hlaviček, jako je 'X-Wayfinder-Threshold', což umožňuje přepsat rozhodnutí o směrování pro specifické dotazy.
Wayfinder Router také poskytuje uživatelům doporučení na základě skóre složitosti promptu. Skóre složitosti se pohybuje v rozmezí 0.0-1.0, přičemž hodnota pod 0.5 znamená, že dotazy by měly být posílány na místní model, zatímco hodnoty nad 0.5 indikují, že by měly být zpracovány cloudovým modelem.
Sledování a úspory nákladů
Wayfinder Router má možnost sledovat úspory nákladů při směrování dotazů. Nástroj zaznamenává úspory ve srovnání s neustálým používáním cloudového modelu.
Wayfinder Router je navržen tak, aby byl lehký a bez závislostí, což usnadňuje jeho implementaci. Uživatelé mohou spustit Wayfinder Router jako službu nebo jako samostatnou aplikaci pomocí Dockeru. Navíc je možné testovat směrování bez nutnosti instalace modelů, což usnadňuje experimentování a ladění.
Metody a metriky
Wayfinder Router používá skóre složitosti, které se pohybuje v rozmezí 0.0-1.0, k určení, jak složitý je prompt a jaký model by měl být použit. Prahová hodnota 0.5 určuje, že dotazy pod touto hodnotou by měly být posílány na místní model, zatímco hodnoty nad 0.5 by měly být zpracovány cloudovým modelem.