Mis on Yandex AI Studio API?
Yandex AI Studio on Yandex Cloudi arendajatele mõeldud platvorm generatiivse tehisintellekti rakendustesse integreerimiseks. See annab juurdepääsu Yandexi mudelitele, näiteks YandexGPT-le ja YandexART-ile, ning mudelikataloogis saadaolevatele valitud avatud lähtekoodiga ja kolmandate osapoolte mudelitele.
Platvorm on tarbijatele mõeldud Alice'i tellimustest eraldi. See on loodud tootmises kasutatavate rakenduste, sisemiste tööriistade, automatiseerimise, agentide, pakktöötluse ja multimodaalsete süsteemide jaoks. Arendajad saavad kasutada Yandex Cloudi REST- ja gRPC-liideseid, OpenAI-ga ühilduvat lõpp-punkti, ametlikke SDK-sid või Yandex Cloudi konsoolis asuvat AI Playgroundi.
Kellele see sobib?
AI Studio sobib arendajatele ja meeskondadele, kes vajavad pilves majutatud juurdepääsu mudelitele koos Yandex Cloudi identiteedihalduse, kasutuspõhise arvelduse, teenusekontode, kvootide ja tootmiskasutuseks mõeldud API-dega. See võib olla eriti asjakohane siis, kui rakendused töötavad Yandex Cloudis või vajavad Yandexi-põhiseid mudeleid ja teenuseid.
See sobib vähem kasutajatele, kes otsivad lihtsat tarbijatele mõeldud vestlusroboti tellimust, üle maailma kättesaadavat teenust või ühtse teenusepakkuja mudelit, mille võimalused on kõigis lõpp-punktides identsed. Mudelite tugi, piirkondlik kättesaadavus, õigused ja funktsioonide olek võivad erineda.
Juurdepääsu saamine ja autentimisandmete hankimine
Enne päringute saatmist looge Yandex Cloudi konto ja kaust või valige olemasolevad, seadistage arveldus ning looge teenusekonto, millel on teie töökoormuse jaoks vajalikud õigused. Seejärel autentige end API-võtme või IAM-i märgise abil.
Rakendusest rakendusse juurdepääsu korral on piiratud õigustega teenusekonto API-võti üldjuhul praktiline lähtekoht. Yandex Cloudi algupärased API-d kasutavad Api-Key autoriseerimisskeemi. OpenAI-ga ühilduvad kliendid saavad sama autentimisandme tavaliselt oma tavapärase API-võtme seadistuse kaudu.
Hoidke autentimisandmeid keskkonnamuutujates või saladuste halduris, mitte otse lähtekoodis. Kasutage toimingu jaoks saadaolevatest õigustest kõige kitsama ulatusega õigusi, näiteks vajaduse korral yc.ai.languageModels.execute.
API ja mudeli valimine
Integreerimiseks on kaks peamist lähenemisviisi:
- OpenAI-ga ühilduv API: kasulik siis, kui rakendus kasutab juba ühilduvat Pythoni või JavaScripti klienti ning vajab suhteliselt tuttavat vestluse või vastuste laadset liidest.
- Yandex Cloudi algupärased API-d: sobivad siis, kui vajate Yandex Cloudi spetsiifilisi ressursse, REST- või gRPC-teenuseid, haldustoiminguid või võimalusi, mida ühilduvuskihi kaudu samal kujul ei pakuta.
OpenAI-ga ühilduva API baas-URL on https://ai.api.cloud.yandex.net/v1. Mudelite identifikaatorid kasutavad sageli Yandex Cloudi URI-vorminguid, näiteks gpt://<folder_ID>/<model_ID>/latest. Valige mudel AI Studio praegusest kataloogist, mitte ärge eeldage, et kõik mudelid toetavad sama konteksti suurust, modaalsusi, tööriistu või väljundipiiranguid.
Esimese päringu tegemine
Järgmises näites kasutatakse OpenAI-ga ühilduvat chat-completions-liidest koos praeguse OpenAI Pythoni kliendipaketiga. Seadistage API-võti ja mudeli identifikaator esmalt keskkonnamuutujates.
pip install openaiimport os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["YANDEX_API_KEY"],
base_url="https://ai.api.cloud.yandex.net/v1",
)
response = client.chat.completions.create(
model=os.environ["YANDEX_MODEL"],
messages=[
{"role": "system", "content": "You are a concise technical assistant."},
{"role": "user", "content": "Explain retry with exponential backoff in three sentences."},
],
temperature=0.2,
)
print(response.choices[0].message.content)Selles näites ei ole mudeli väärtus üldine nimi. See tuleks asendada teie Yandex Cloudi kaustas ja kontokonfiguratsioonis praegu saadaoleva mudeli URI-ga.
Vastuse mõistmine
Chat-completions-vastus sisaldab valikute kogumit. Tavalise ühe vastusega päringu korral loeb rakenduse kood genereeritud teksti tavaliselt väljast response.choices[0].message.content. Tootmiskood peaks arvestama ka tühja sisu, keeldumiste või vigade, tagastatava kasutusinfo, ajalõppude ja ebaõnnestunud HTTP-vastustega.
Kuidas hinnakujundus toimib?
AI Studio kasutab üldise tarbijatele mõeldud tellimuse asemel kasutuspõhist pilvearveldust. Tasud sõltuvad valitud mudelist ja tarbitud ressurssidest. Olulised tegurid võivad olla sisend- ja väljundmärgid, pildi- või helitöötlus, pakktööd, spetsiaalsed eksemplarid, agendid ja peenhäälestus.
Ei ole olemas üht kogu platvormi hõlmavat hinda, mis esindaks iga AI Studio päringut. Enne juurutamist kontrollige Yandex Cloudi ametlikust hinnadokumentatsioonist kehtivaid hindu, sest hinnad ja arveldusstruktuurid võivad muutuda API süntaksist sõltumatult. Kulude kontrollimiseks valige mudelid läbimõeldult, piirake ebavajalikku konteksti, jälgige kasutust ja testige enne tootmiskulude hindamist tüüpilisi töökoormusi.
Mida saavad arendajad luua?
Vastuste voogedastus
Voogedastus saadab genereeritud väljundi järk-järgult, selle asemel et oodata täieliku vastuse valmimist. See on kasulik vestlusliideste ja pikkade vastuste puhul, sest kasutaja näeb edenemist varem. Lubage voogedastus siis, kui valitud lõpp-punkt ja mudel seda toetavad.
stream = client.chat.completions.create(
model=os.environ["YANDEX_MODEL"],
messages=[
{"role": "user", "content": "Give a short deployment checklist."}
],
stream=True,
)
for chunk in stream:
text = chunk.choices[0].delta.content
if text:
print(text, end="", flush=True)
print()Struktureeritud JSON-väljund
AI Studio dokumentatsioon kirjeldab toetatud Responses API konfiguratsioonide korral lihtteksti, JSON-objekti väljundit ja JSON Schema väljundit. Struktureeritud väljund on kasulik siis, kui rakendus vajab välju, mida saab töödelda programmiliselt, mitte vabatekstina.
Lihtsa JSON-objekti puhul võib ühilduv päring kasutada JSON-vastuse vormingut:
response = client.chat.completions.create(
model=os.environ["YANDEX_MODEL"],
messages=[
{"role": "system", "content": "Return only valid JSON."},
{"role": "user", "content": "Return name and priority for a database migration task."},
],
response_format={"type": "json_object"},
)
print(response.choices[0].message.content)Parsimine ja valideerimine tuleb alati teha rakenduse koodis. JSON-režiim või skeemide tugi võib mudeliti ja API-liideseti erineda ning korrektne JSON ei taga, et väärtused vastavad teie ärireeglitele.
Funktsioonikutsed ja majutatud tööriistad
Funktsioonikutsed võimaldavad mudelil taotleda rakenduse määratud toimingut, kasutades nime ja JSON Schema parameetreid. Teie rakendus vastutab endiselt argumentide valideerimise, funktsiooni käivitamise, õiguste jõustamise ja tulemuse mudelile tagastamise eest.
AI Studio dokumentatsioon kirjeldab toetatud konfiguratsioonide korral ka majutatud tööriistu, näiteks veebiotsingut, failiotsingut ja MCP-ga seotud integratsioone. Tööriistade kättesaadavus sõltub mudelist ja konfiguratsioonist, seega kontrollige tuge enne konkreetse tööriista ümber töövoo kavandamist.
Agendid
AI Studio pakub esimese osapoole agentide võimalusi, sealhulgas agenditööriistu, failiotsingut, koodi käivitamist, MCP-integratsioone ja nendega seotud ressursse. Arendajad saavad AI Studio mudeleid ühendada ka väliste agendiraamistike ja serverivabade komponentidega, näiteks Yandex Cloud Functionsiga.
Failid ja multimodaalne sisend
Files API toetab ressursside üleslaadimist ja haldamist kasutusjuhtude jaoks, sealhulgas assistendid, pakktöötlus, peenhäälestus, nägemisvõimekus ja kasutajaandmed. Toetatud pildi-, video- ja helitöövood sõltuvad valitud mudelist ja API konfiguratsioonist. Failiobjektidel võib olla aegumisteave või muid elutsükli reegleid, mistõttu ei tohiks rakendused eeldada, et üleslaaditud ressursid jäävad määramata ajaks kättesaadavaks.
Peenhäälestus, manused ja piltide genereerimine
AI Studio toetab manuste ja piltide genereerimise töövooge ning LoRA-põhist peenhäälestust valitud keele-, klassifitseerimis- ja manustemudelite jaoks. Peenhäälestus sõltub mudeli kättesaadavusest, andmestikunõuetest, kvootidest, eelvaateolekust ja täiendavatest ressursikuludest. Peenhäälestatud mudeleid saab kasutada ainult selle mudeli jaoks dokumenteeritud toetatud genereerimis-API-de ja liideste kaudu.
Playground ja SDK-de valikud
Yandex Cloudi halduskonsooli AI Playground pakub interaktiivset võimalust mudelite ja viipade testimiseks enne rakenduse koodi kirjutamist. See on kasulik viipade võrdlemiseks, mudeli soovitud modaalsuse toe kontrollimiseks ja põhilise käitumise uurimiseks.
Ametlikud Yandex Cloudi SDK-d toetavad Node.js-i, Go-d, Pythonit, Javat ja .NET-i. Saadaval on ka spetsiaalne Yandex AI Studio SDK. OpenAI-ga ühilduvat lõpp-punkti kasutavad rakendused võivad kasutada ühilduvaid Pythoni või JavaScripti kliente, PHP-rakendused saavad aga HTTPS API-d kutsuda otse tavalise HTTP-kliendi või cURL-i abil.
Piirangud ja tootmiskasutuse kaalutlused
AI Studio avaldab eri ressursside jaoks kvoodid, mitte üht universaalset päringupiirangut. Dokumenteeritud näited hõlmavad kuni 10 samaaegset sünkroonset tekstigenereerimist, 10 asünkroonse esitamise päringut sekundis, 50 asünkroonse tulemuse päringut sekundis, 5000 asünkroonset esitamist tunnis ja 50 märgenduspäringut sekundis. Peenhäälestuse dokumentatsioon sisaldab piiranguid kuni 10 käitusele päevas ja 3 käitusele tunnis. Tegelikud piirangud võivad ressursiti erineda ja neid võidakse muuta.
Dokumentatsiooni kohaselt säilitatakse asünkroonse tekstigenereerimise tulemusi serveris kuni kolm päeva. Üleslaaditud failidel, pakiväljunditel, andmestikel, assistentidel ja agendiresurssidel võivad olla erinevad aegumis- või elutsükli reeglid.
Tootmissüsteemide puhul:
- Määrake ühenduse ja päringute ajalõpud.
- Proovige ajutiste tõrgete korral uuesti eksponentsiaalse tagasipöördumise ja juhusliku hajutamisega.
- Järgige kvoote ja vältige piiramatut samaaegsust.
- Valideerige struktureeritud väljund ja tööriistade argumendid.
- Jälgige märkide ja ressursside tarbimist.
- Hoidke võtmeid saladuste halduris ja kasutage piiratud õigustega teenusekontosid.
- Määratlege üleslaaditud andmete kustutamise või aegumise reeglid.
- Kontrollige, kas vajalik funktsioon on üldiselt kättesaadav, eelvaates, piirkondlikult piiratud või mudelispetsiifiline.
- Ärge saatke saladusi, ebavajalikke isikuandmeid ega reguleeritud teavet, välja arvatud juhul, kui kohaldatavad tingimused ja turbekonfiguratsioon seda lubavad.
Eelised ja piirangud
Eelised
- REST- ja gRPC-liidesed ning OpenAI-ga ühilduv lõpp-punkt.
- Ametlik SDK-tugi mitmele levinud programmeerimiskeelele.
- AI Playground mudelite ja viipade testimiseks.
- Voogedastuse, asünkroonse töötluse ja pakktöötluse tugi.
- Struktureeritud vastuste, tööriistade, agentide, failide, multimodaalsete töövoogude, manuste, piltide genereerimise ja valitud peenhäälestusvõimaluste tugi.
- Yandex Cloudi identiteedi-, õiguste-, kvoodi- ja teenusekontrollid.
Piirangud
- Mudelite võimalused ja API tugi ei ole kogu kataloogis ühtsed.
- Hinnakujundus põhineb kasutusel ja võib hõlmata mitut ressursikategooriat.
- Kvoodid, eelvaateolek, õigused ja piirkondlikud piirangud võivad juurutamist mõjutada.
- Säilitusajad erinevad asünkroonsete tulemuste, failide, andmestike ja agendiresursside puhul.
- OpenAI-ga ühilduv liides vähendab migratsiooniga seotud tööd, kuid ei taga täielikku ühilduvust kõigi OpenAI funktsioonide ega kliendi käitumisega.
- Ingliskeelne dokumentatsioon ja rahvusvaheline kättesaadavus võivad olla vähem põhjalikud kui mõnel suurel USA konkurendil.
Millal on Yandex AI Studio hea või halb valik?
AI Studio on hea valik siis, kui vajate Yandex Cloudis majutatud mudeli API-sid, Yandexi mudeleid, pilvepõhist IAM-i, OpenAI-ga ühilduvat migratsiooniteed või teksti-, multimodaalsete, agendi-, faili- ja peenhäälestuse töövoogude kombinatsiooni. See on praktiline valik ka meeskondadele, kes juba käitavad rakendusi ja haldavad arveldust Yandex Cloudis.
See võib olla halb valik siis, kui teie rakendus nõuab garanteeritud ülemaailmset kättesaadavust, mudelite identset käitumist eri piirkondades, täielikult läbipaistvaid mudelikirjeldusi, lihtsat fikseeritud hinnaga tellimust või laia tarbijatele mõeldud kohandatud agentide ökosüsteemi. Enne otsuse tegemist kontrollige täpselt oma töökoormuse jaoks sihtmudelit, piirkonda, kvooti, tööriistade tuge, säilituskäitumist ja kehtivat hinda.
Praktiline alustamise kontrollnimekiri
- Looge Yandex Cloudi kaust ja seadistage arveldus.
- Looge teenusekonto, millel on ainult vajalikud AI Studio õigused.
- Looge API-võti ja hoidke seda turvaliselt.
- Valige AI Studio kataloogist praegune mudeli identifikaator.
- Testige AI Playgroundis või OpenAI-ga ühilduva lõpp-punkti kaudu põhistaotlust.
- Lisage voogedastus, struktureeritud väljund, failid, tööriistad või agendid alles pärast seda, kui olete valitud mudeli toe kinnitanud.
- Enne tootmiskasutust rakendage valideerimine, ajalõpud, korduskatsed, kvootide haldus, seire ja andmete säilitamise kontrollid.
