Foto: Cloudflare Blog
Cloudflare je objavio nove kontrole potrošnje za AI Gateway te zatvorenu beta verziju za budžete i usmjeravanje koji se temelje na identitetu, uz Cloudflare Access i postojeći pružatelj identiteta. Tvrtka navodi da su ove mogućnosti uvedene kako bi se lakše pratila i ograničavala potrošnja na AI pozive, nakon što su mnoge organizacije počele široko koristiti AI alate kroz zajedničke API ključeve.
AI Gateway stoji između aplikacija i AI pružatelja, pa zahtjevi prolaze kroz Cloudflare umjesto izravno prema OpenAI-ju, Anthropicu, Googleu ili drugom pružatelju. Cloudflare navodi da je do sada Gateway već nudio objedinjeno naplaćivanje, zapisivanje svih zahtjeva, broj tokena i troškova na jednom mjestu, predmemoriranje odgovora, ograničavanje brzine te zaštitne mehanizme za sadržaj, uključujući blokiranje osobnih podataka i tajni prije nego što stignu do modela.
Novost je da AI Gateway sada podržava spend limite kao osnovnu značajku. Riječ je o budžetima izraženima u dolarima, a ne u tokenima, koji prate kumulativnu potrošnju kroz sve zahtjeve i rade neovisno o klasičnom rate limiting mehanizmu. Cloudflare navodi da se limiti mogu postaviti prema modelu, pružatelju ili prilagođenim atributima koje definira administrator, primjerice prema korisniku, timu ili aplikaciji. Vremenski okviri mogu biti fiksni, primjerice s resetiranjem prvog dana u mjesecu, ponedjeljkom ili u ponoć, ili klizni, a mogu se postaviti na dnevnoj, tjednoj ili mjesečnoj razini.
Prema Cloudflareu, sustav izračunava cijenu po zahtjevu prema cjeniku modela i u stvarnom vremenu prati ukupnu potrošnju u odnosu na postavljeni limit. Na nadzornoj ploči dostupno je praćenje potrošnje po modelu, pružatelju ili prilagođenom atributu. Kada se dosegne granica budžeta, Gateway će prema zadanim postavkama blokirati daljnje zahtjeve. Cloudflare navodi i mogućnost da se kroz Dynamic Routes zahtjevi preusmjere na rezervni model nakon dosezanja limita, kako bi se zadržao radni tijek. Tvrtka kaže i da radi na tome da doda obavijesti kada se limit dosegne.
Spend limits su od danas dostupni u otvorenoj beta verziji za sve korisnike AI Gatewaya i sve planove. Mogu se konfigurirati u postavkama Gatewaya na nadzornoj ploči ili putem API-ja. Cloudflare u istoj objavi kaže i da unutar vlastite tvrtke već prati troškove tokena te da zaposlenici svakodnevno koriste AI alate kroz AI Gateway, s milijunima zahtjeva i milijardama tokena mjesečno. Tvrtka opisuje i sljedeći korak: dodavanje identiteta svakom zahtjevu kada se zaposlenik autentificira putem Cloudflare Accessa i identitet se izvuče iz JSON Web Tokena (JWT).
Vezane vijesti
