Foto: AWS News Blog
AWS je objavio novo iskustvo u konzoli Amazon Bedrocka namijenjeno eksperimentiranju, iteriranju i skaliranju s najnovijim AI modelima na novoj generaciji inferencijskog mehanizma. Novo sučelje ima osvježen tijek rada optimiziran za bedrock-mantle endpoint, koji podržava najnovije GPT, Claude i open-weight modele putem OpenAI Responses API-ja, OpenAI Chat Completions API-ja i Anthropic Messages API-ja.
Tvrtka navodi da novo iskustvo pojednostavljuje pronalazak odgovarajućeg modela i prelazak iz evaluacije u produkciju. U konzoli je dostupan projektni nadzorni panel koji prikazuje inference zahtjeve i pogreške po rasponu nedavnih datuma, nedavno korištene modele i popis projekata. Moguće je i kreirati projekt, dodijeliti modele, konfigurirati API ključeve i početi slati inference zahtjeve u nekoliko minuta.
AWS je dodao i novi katalog modela u kojem su prikazani najnoviji GPT, Claude i open-weight modeli podržani na bedrock-mantle engineu. U katalogu se mogu vidjeti detalji o značajkama, tokenima, cijenama, ulazno-izlaznim informacijama i regionalnoj dostupnosti. Istovremeno je moguće usporediti do tri modela u jednom prikazu, a u projektnom dashboardu dostupni su i podaci o raspodjeli tokena, uključujući ukupnu potrošnju tokena, broj tokena po minuti, inference zahtjeve po minuti i tokene po inference zahtjevu.
Za razvoj aplikacije u projektu dostupna je opcija Getting started, uz mogućnost migracije postojećeg koda, izrade nove aplikacije s Anthropic ili OpenAI SDK-om ili povezivanja AI coding asistenta s Bedrockom. U odjeljku API & SDK korisnik bira SDK, programski jezik i način autentikacije, a konzola prikazuje kod okruženja za brzo testiranje ili spremanje u .env datoteku. Moguće je i poslati prvi zahtjev pomoću primjera koda radi provjere postavki, dok odjeljak Clients nudi povezivanje alata poput Claude Codea, Clinea, Codexa, Cursora i OpenCodea s bedrock-mantle engineom.
AWS navodi i Live API docs za upoznavanje s Anthropic- i OpenAI-kompatibilnim API-jima. Ondje se može odabrati Anthropic API Protocol za pristup značajkama modela Claude, poput Messages API-ja, ili OpenAI API Protocol za značajke poput Responses API-ja. Primjeri API-ja automatski se popunjavaju odabranim modelom, regijom, URL-om bedrock-mantle endpointa i referencom API ključa te se ažuriraju kako se mijenjaju modeli ili postavke.
Novo iskustvo konzole dostupno je u svim AWS regijama u kojima je ponuđen bedrock-mantle endpoint: US East (N. Virginia, Ohio), US West (Oregon), Asia Pacific (Jakarta, Mumbai, Sydney, Tokyo), Europe (Frankfurt, Ireland, London, Milan, Stockholm) i South America (São Paulo). AWS navodi i da se postojeća Bedrock konzola i dalje može koristiti za upravljanje potpuno upravljanim značajkama kao što su Agents, Knowledge Bases, Guardrails, fine-tuning te InvokeModel i Converse API-jima na bedrock-runtime endpointu.
Vezane vijesti
