Mis on PhariaAI API ja millal seda kasutada
PhariaAI on Aleph Alpha praegune arendajaplatvorm. Selle põhikomponentidel on erinevad rollid: PhariaInference pakub mudelite järeldus- ehk inferentsi-API-sid, PhariaStudio pakub arenduskeskkonda ja Playgroundi ning PhariaData andmete, dokumentide, failide, repositooriumide, konnektorite ja otsinguvõimaluste haldamist.
See ülesehitus on mõeldud meeskondadele, kes loovad kontrollitud AI-rakendusi, mitte üksikisikutele, kes otsivad iseteeninduslikku tarbijatele mõeldud vestlusrobotit. Tüüpilised projektid hõlmavad siseabilisi, dokumendianalüüsi, otsinguga täiendatud genereerimist, valdkonnaspetsiifilisi töövooge, valitsusrakendusi ning süsteeme, mis peavad töötama Euroopa taristus või organisatsiooni enda keskkonnas.
Kasuta PhariaAI-d siis, kui olulised on juurutamise kontroll, suveräänsus, selgitatavus, domeenikohandus ja ettevõtte süsteemidega lõimimine. See ei ole sama loomulik valik juhuslikuks katsetamiseks, väikese eelarvega avalike rakenduste loomiseks või arendajatele, kes otsivad üleilmselt standardiseeritud tarbija-API-t, millel on üks avalik hinnakiri ja kõigile klientidele ühesugused piirangud.
Juurdepääsu saamine ja autentimisandmete hankimine
Juurdepääs põhineb tavaliselt organisatsioonil. Sõltuvalt kokkuleppest annab Aleph Alpha või administraator juurdepääsu majutatud PhariaAI keskkonnale, privaatsele paigaldusele või organisatsioonipõhisele teenuse URL-ile. Avalik dokumentatsioon ei määratle üht universaalset kasutuselevõtuprotsessi kõigi juurutuste jaoks.
API-päringutes kasutatakse bearer-token'it. PhariaStudios saab volitatud kasutaja bearer-token'i oma profiilist kopeerida. Majutatud API-le juurdepääs võib toimuda Aleph Alpha konto ja profiili kaudu, samas kui ise hallatavad paigaldused võivad mandaadid väljastada organisatsiooni enda haldusprotsessi kaudu.
Salvesta token keskkonnamuutujasse, mitte otse lähtekoodi. Ka täpne teenuse URL sõltub juurutusest, seega kasuta administraatori antud või sihtpaigalduse dokumentatsioonis näidatud inferentsi-URL-i.
export AA_TOKEN="your-token"
export PHARIA_INFERENCE_URL="https://your-pharia-inference-host"
export AA_MODEL="pharia-1-llm-7b-control"API ja mudeli valimine
Alusta PhariaInference'iga, kui rakendus vajab teksti- või multimodaalse mudeli inferentsi. Kasuta PhariaStudiot siis, kui vajad tööruumi viipade arendamiseks, silumiseks, hindamiseks, rakenduste loomiseks või mudeli täiustamiseks. Kasuta PhariaData-t siis, kui rakendus peab haldama dokumente, faile, andmekogumeid, repositooriume, konnektoreid või otsinguhoidlaid.
Mudeli identifikaatorid ja toetatud toimingud sõltuvad juurutusest. Avalikult dokumenteeritud Pharia-1-LLM-7B-controli perekond on üks näide, kuid ühes paigalduses olemasolev mudel ei pruugi teises olla lubatud. Enne tootmiskoodi kirjutamist kontrolli sihtjuurutuse API- või Swaggeri dokumentatsioonist saadaolevate mudelite loendit, toetatud sisendtüüpe ja päringu skeemi.
Esimese inferentsipäringu tegemine
Järgnev ühilduvusele suunatud HTTP-näide illustreerib dokumenteeritud completion-mustrit. Asenda host ja mudel väärtustega, mida sinu PhariaAI paigaldus toetab. Täpne marsruut ja kasulik koormus tuleb üle kontrollida selle juurutuse versioonitud PhariaInference'i viitedokumentatsioonist.
curl --fail-with-body --silent --show-error
"$PHARIA_INFERENCE_URL/complete"
-H "Authorization: Bearer ${AA_TOKEN}"
-H "Content-Type: application/json"
--data @- | jq -r '.completions[0].completion'
{
"model": "pharia-1-llm-7b-control",
"prompt": "Explain data sovereignty in one paragraph.",
"maximum_tokens": 128,
"temperature": 0.2
}Päring sisaldab mudelit, viipa ja genereerimisseadeid. maximum_tokens seab genereeritavale completion'ile ülempiiri, samal ajal kui temperature mõjutab varieeruvust. Saadaolevad parameetrid ja nende nimed võivad API versiooni ja juurutuse järgi erineda.
Vastuse mõistmine
Completion-vastus sisaldab genereeritud teksti completion-objektis või completions-kogu esimeses elemendis, sõltuvalt lõpp-punkti vastusevormingust. Rakendused peaksid lähtuma dokumenteeritud vastuseskeemist, mitte eeldama, et iga juurutus tagastab täpselt sama ümbrise.
Tootmiskoodis kontrolli enne keha parsimist HTTP olekut, käsitle autentimis- ja valideerimisvigu ning logi päringu identifikaatoreid või teenusevigu, kui juurutus neid avaldab. Ära eelda, et edukas HTTP-vastus tähendab genereeritud sisu sobivust äriotsuse tegemiseks; vajalik on ka rakenduse tasemel valideerimine.
Kuidas hinnastamine üldiselt toimib
Aleph Alpha ei avalda läbi vaadatud materjalides praeguse PhariaAI arendajaplatvormi jaoks universaalset iseteeninduslikku tokenipõhist hinnakirja. Hinnastamine esitatakse üldjuhul ettevõttele tehtava pakkumisena.
Kommertskokkulepe võib sõltuda majutatud juurdepääsust, juurutusmudelist, taristust, valitud mudelitest, kasutusest, toest ja valikulistest komponentidest, näiteks arendus- või andmeteenustest. Seetõttu võivad majutatud ja privaatsed juurutused kulustruktuurilt märkimisväärselt erineda.
Enne rakendamist küsi hinnastamise aluse, kaasatud keskkondade, mudelite kättesaadavuse, kasutuse mõõtmise, toe tingimuste, andmetöötluse tingimuste, päringupiirangute ning privaatse või kohapealse töötlusega seotud kulude kohta. Ära hinda tootmiskulusid üldise tokenipõhise oletuse alusel, kui see ei sisaldu sinu lepingus.
Arendajatele saadaolevad võimalused
Vastuste voogedastus
Ühilduvate inferentsi töövoogude puhul on voogedastus toetatud. Täieliku vastuse ootamise asemel saab rakendus töödelda väljundit selle saabumisel. See on kasulik interaktiivsete liideste ja pikkade vastuste puhul, kuid sündmuste või tükkide vorming tuleb valitud API versiooni jaoks üle kontrollida.
curl --fail-with-body --silent --show-error --no-buffer
"$PHARIA_INFERENCE_URL/complete"
-H "Authorization: Bearer ${AA_TOKEN}"
-H "Content-Type: application/json"
--data @- | jq -r '.completion // .completions[0].completion // empty'
{
"model": "pharia-1-llm-7b-control",
"prompt": "List three benefits of sovereign AI.",
"maximum_tokens": 128,
"stream": true
}Tööriista- ja funktsioonikutseid
Ühilduvate mudelite ja konfiguratsioonide puhul on dokumenteeritud struktureeritud funktsioonikutsed. Mudel tagastab teabe soovitud funktsiooni ja selle argumentide kohta; seejärel valideerib rakendus argumendid, käivitab välise toimingu ja saadab tulemuse vestlusesse tagasi.
Funktsioonikutse ei anna mudelile otsest juurdepääsu sinu andmebaasile ega teenustele. Rakendus vastutab endiselt autoriseerimise, sisendi valideerimise, kõrvalmõjude, ajalõppude ja vigade käsitlemise eest. Kontrolli kasutatava mudeli ja PhariaInference'i versiooni toetatud funktsioonikutsete skeemi.
Struktureeritud JSON-väljund
PhariaAI toetab toetatud vestluse completion'i töövoogudes JSON Schema kasutamist struktureeritud väljundi jaoks. See on kasulik, kui vastust peab kasutama mõni teine programm, näiteks ekstraktsioonitöötlus, klassifitseerimisteenus või töövoomootor.
Skeemiga piiratud väljund vähendab parsimise ebaselgust, kuid rakendus peaks tagastatud JSON-i siiski valideerima, käsitlema puuduvaid või vigaseid väärtusi ning arvestama mudeli- või juurutusepõhiste piirangutega.
Multimodaalne sisend ja failid
Multimodaalne sisend on toetatud mudelite ja juurutuste puhul saadaval. Faili- ja dokumendifunktsioonid on saadaval ka PhariaData ja seotud platvormiteenuste kaudu. Need teenused hõlmavad faile, dokumente, andmekogumeid, repositooriume, konnektoreid ja otsinguhoidlaid.
Esitatud dokumentatsioon ei määra kõigi PhariaAI paigalduste jaoks üht universaalset failisisendi süntaksit ega failitüüpide loendit. Enne dokumenditöövoo kavandamist kontrolli sihtjuurutuse juures toetatud vorminguid, üleslaadimismarsruute, mahupiiranguid, indekseerimise käitumist ja juurdepääsuõigusi.
Kohandamine ja täiustamine
PhariaStudio toetab organisatsioonipõhist rakenduste arendust, hindamist, otsinguga täiendatud genereerimise töövooge ning mudelite peenhäälestuse või täiustamise protsesse, kui need on lubatud. Kättesaadavus sõltub paigaldusest, õigustest, valitud mudelist ja kommertskokkuleppest.
SDK-d, Playground ja arendustööriistad
Aleph Alpha praegune esimese osapoole SDK-de suund on Pythonipõhine ning platvormikomponentide vahel eraldatud. Asjakohased paketid on pharia-inference-sdk, pharia-studio-sdk ja pharia-data-sdk. Teiste keelte puhul on võimalik kasutada otse HTTP-integratsiooni, kui vajalik lõpp-punkt on avalikustatud.
Vanem Intelligence Layer SDK on aegunud ja see ei peaks olema uue integratsiooni aluseks. Pärandklient võib olemasoleva ühilduvustöö puhul endiselt asjakohane olla, kuid uued projektid peaksid alustama praegustest Pharia SDK-dest ja versioonitud PhariaAI dokumentatsioonist.
PhariaStudio sisaldab Playgroundi, kus volitatud kasutajad saavad valida saadaoleva mudeli, testida viipasid, muuta seadeid, tulemusi uurida ja viipade koodi eksportida. See on ettevõtetele mõeldud arendustööruum, mitte anonüümne avalik mänguväljak, ning selle funktsioonid sõltuvad organisatsiooni paigaldusest ja õigustest.
Praktiline täiustatud töövoog
- Kasuta PhariaStudiot viiba testimiseks ja saadaoleva mudeli tuvastamiseks.
- Kasuta PhariaData-t rakenduse jaoks vajalike dokumentide, failide või otsinguhoidlate korraldamiseks.
- Kutsu PhariaInference'i kaitstud serveripoolsest rakendusest bearer-token'i abil.
- Kasuta struktureeritud väljundit, kui järgmine koodiosa vajab prognoositava kujuga JSON-i.
- Kasuta funktsioonikutseid ainult sõnaselgelt heaks kiidetud toimingute puhul ning valideeri iga tagastatud argument enne käivitamist.
- Mõõda tegelikus majutatud või ise hallatavas keskkonnas latentsust, samaaegsust, vastuste kvaliteeti ja tõrgete käitumist.
Selline eraldatus aitab hoida mudeli inferentsi, rakenduste arendust ja ettevõtte andmetoiminguid lahus, võimaldades neil samal ajal ühes platvormis koostööd teha.
Piirangud ja tootmiskeskkonnaga seotud kaalutlused
Praeguse PhariaAI platvormi kohta ei tuvastatud universaalset avalikku päringupiirangute tabelit. Piirangud võivad sõltuda juurutusest, lepingust, tööruumist, mudelist või paigaldusest. Enne kasutuselevõttu kontrolli päringute arvu minutis, samaaegsust, tokenipiiranguid, kvoote ja teenusetaseme kohustusi.
Samuti ei ole olemas universaalset avalikku latentsusgarantiid. Vastuseaeg sõltub valitud mudelist, riistvarast, partiitöötlusest, samaaegsusest, võrgutingimustest ning sellest, kas teenus on majutatud või ise hallatav. Mõõda tegelikku juurutust tüüpiliste viipadega, mitte ära tugine teenusepakkujaülesele näitajale.
Üle vaadatud dokumentatsioon ei määra üht universaalset säilitusperioodi ega reeglit selle kohta, kas kõiki API kaudu saadetud andmeid kasutatakse mudeli treenimiseks. Kontrolli kohaldatavast lepingust või juurutuse konfiguratsioonist logimise, säilitamise, treeningus kasutamise, kustutamise ja andmetöötluse tingimusi. Ise hallatavad juurutused võivad pakkuda taristu ja käitamisandmete poliitikate üle otsesemat kontrolli.
Enne tootmiskasutust valideeri ka lõpp-punktide versioonid ja mudeliidentifikaatorid. PhariaAI on ulatuslikum platvorm kui üks kindel avalik lõpp-punkt ning võimalused võivad paigalduste vahel erineda.
Eelised ja piirangud
Eelised:
- Loodud Euroopa, ettevõtete, valitsusasutuste ja reguleeritud kasutusjuhtude jaoks.
- Toetab majutatud, privaatseid, suveräänseid ja kohapealseid juurutusmustreid.
- Ühendab inferentsi, rakenduste arenduse, hindamise, andme-, dokumendi- ja otsinguteenused.
- Pakub ühilduvate juurutuste puhul dokumenteeritud voogedastuse, struktureeritud väljundi ja funktsioonikutsete võimalusi.
- Pakub Pythonipõhiseid SDK-sid ja brauseripõhist arenduse Playgroundi.
Piirangud:
- Juurdepääs ja seadistamine sõltuvad organisatsioonist rohkem kui tüüpilise iseteenindusliku API puhul.
- Hinnastamist, päringupiiranguid, säilitamist, latentsust, saadaolevaid mudeleid ja failide käitumist ei määratle üks universaalne avalik spetsifikatsioon.
- Paljud võimalused sõltuvad juurutuse konfiguratsioonist, õigustest ja mudeli toest.
- Juhuslikuks katsetamiseks ei ole laialt turundatud tarbijatele mõeldud tellimuste ökosüsteemi.
- JavaScripti, TypeScripti, PHP-d või Java-t kasutavad arendajad võivad vajada HTTP kaudu integreerimist, sest samaväärset praegust esimese osapoole SDK-de tuge ei ole kindlaks tehtud.
Kes peaks PhariaAI-d kasutama?
PhariaAI on hea valik organisatsioonidele, kes vajavad suveräänset või privaatset AI-juurutust, Euroopa andme- ja taristuvõimalusi, valdkonnaspetsiifilisi mudeleid, kontrollitud ettevõtte töövooge ning integreeritud dokumendi- või otsinguvõimalusi. See on eriti asjakohane siis, kui hanked, vastavusnõuded, juurdepääsukontroll ja käitamise eest vastutamine on sama olulised kui mudeli väljund.
See sobib halvemini hobiprojektile, mis vajab kohest anonüümset juurdepääsu, läbipaistvat avalikku tokenihinda, üleilmselt ühtseid piiranguid või suurt tarbijarakenduste ökosüsteemi. Sellistel juhtudel võib organisatsioonipõhine kasutuselevõtt ja juurutusmudel lisada rohkem keerukust, kui projekt tegelikult vajab.
