text-embedding-ada-002

Mida text-embedding-ada-002 teeb

text-embedding-ada-002 on OpenAI mudel, mis teisendab teksti embedding'uks ehk vektoriks: kindla pikkusega arvude loendiks, mis esindab sisendis sisalduvaid tähendusmustreid. Rakendused saavad neid vektoreid võrrelda, et hinnata, kui lähedalt on kaks tekstilõiku omavahel seotud.

Näiteks võib otsingusüsteem teisendada kasutaja küsimuse embedding'uks ja võrrelda seda dokumentide jaoks salvestatud embedding'utega. Parooli lähtestamist käsitlev dokument võidakse leida päringu „Ma ei pääse oma kontole ligi” puhul isegi siis, kui sõnad täpselt ei kattu. Mudel ise vastust ei kirjuta, vaid annab arvulise esituse, mida teine rakendus saab kasutada sobitamiseks, järjestamiseks või klassifitseerimiseks.

text-embedding-ada-002-le pääseb ligi OpenAI embedding'ute lõpp-punkti, mitte teksti genereerimise lõpp-punkti kaudu. Seetõttu on selle peamine roll semantiline esitus, mitte vestlus, arutlemine, koodi genereerimine või sisu loomine.

Kontrollitud spetsifikatsioonid

Vektoril on samad 1536 dimensiooni olenemata sellest, kas sisend on lühike või pikk. Sisend peab siiski jääma mudeli 8192 tokeni piirangu sisse. Token on teksti töötlemiseks kasutatav ühik ning võib tähistada tervet sõna, sõnaosa, kirjavahemärki või tühikuga seotud tekstifragmenti. Seetõttu ei lange tokenite arv alati kokku sõnade arvuga.

Kuhu see OpenAI praeguses mudelivalikus sobitub

OpenAI määratleb text-embedding-ada-002 vanema embedding-mudelina. See on endiselt loetletud ja embedding'ute API kaudu kättesaadav, kuid paljude uute embedding-süsteemide puhul ei ole see enam vaikimisi lähtekoht. Selle peamised järglased on uuemad mudelid text-embedding-3-small ja text-embedding-3-large.

OpenAI avaldatud teabe kohaselt ei olnud text-embedding-ada-002 text-embedding-3 mudeliperekonna kasutuselevõtu ajal veel kasutuselt kõrvaldamisele määratud. See ei tähenda siiski, et selle embedding'id oleksid uuemate vektoritega asendatavad. Iga mudel loob oma embedding-ruumi, mistõttu ada-002 abil loodud indeksist ei saa tavaliselt otse otsida teise mudeli loodud vektoritega.

Praktilises mõttes on ada-002 positsioneeritud ühilduvusele suunatud mudelina. See võib olla jätkuvalt kasulik olemasolevas rakenduses, mille andmebaas, järjestamiskäitumine ja hindamisprotsess on üles ehitatud selle 1536-dimensiooniliste vektorite ümber. Uue projekti puhul võib uuem mudeliperekond pakkuda paremat tasakaalu otsingukvaliteedi, hinna ja seadistusvõimaluste vahel.

Hinnakujundus ja kulude kompromissid

OpenAI esitatud mudeliteave loetleb text-embedding-ada-002 hinnaks 0,10 dollarit 1 miljoni sisendtokeni kohta. See on ainult sisendi embedding'u hind: mudel tagastab genereeritud teksti asemel vektorid, mistõttu viidatud hinnateabes ei ole tavapärast väljundtokenite tasu.

Ainuüksi hind ei määra embedding-projekti maksumust. Süsteem peab töötlema ka esialgse dokumendikogu, looma embedding'id tulevastele dokumentidele ning teisendama embedding'uteks kasutajate saabuvad päringud. Salvestusruum ja vektoriotsingu taristu on eraldi käituskulud. Kui olemasolev rakendus sisaldab juba suurt ada-002 indeksit, võib migratsioon nõuda nii salvestatud dokumentide kui ka tulevaste päringute uuesti embedding'uteks teisendamist. Seetõttu võib ühilduvus osutuda väärtuslikumaks kui madalam tokenipõhine hind.

Uute juurutuste puhul kirjeldab OpenAI mudelit text-embedding-3-small kui ada-002-st odavamat ja avaldatud võrdlustes tugevamat. See võrdlus soosib uuemat mudelit juhul, kui projektil ei ole säilitamist vajavat vana indeksit. Täpne äriline otsus tuleks siiski teha rakenduse enda dokumentide ja päringutega testimise põhjal, mitte järeldada seda ainult üldise võrdlustesti alusel.

Peamised kasutusjuhud

• Semantiline otsing: Leia dokumente, abikeskuse artikleid või kirjeid tähenduse, mitte täpse sõnastuse põhjal.
• Otsinguga täiendatud genereerimine: Hangi eraldi teksti genereerimise mudeli jaoks asjakohased tekstilõigud enne vastuse koostamist.
• Klasterdamine: Rühmita dokumente, pöördumisi või muud teksti semantilise sarnasuse alusel.
• Soovitused: Sobita kasutajaid, tooteid, dokumente või teemasid seotud tekstikirjelduste põhjal.
• Anomaaliate tuvastamine: Tuvasta üksused, mille vektorid erinevad tavapärasest mustrist ebatavaliselt palju.
• Klassifitseerimine: Edasta embedding'id järgmisele klassifitseerijale, mis määrab sildid, näiteks teema, osakonna või prioriteedi.

Tüüpilise otsingutöövoo puhul jagatakse lähtedokumendid hallatava suurusega tekstilõikudeks, saadetakse need embedding'ute lõpp-punkti, salvestatakse saadud vektorid vektorandmebaasi ning teisendatakse iga saabuv päring hiljem sama mudeli abil embedding'uks. Seejärel saab päringu jaoks tekstilõike järjestada sarnasuse mõõdiku, näiteks koosinussarnasuse, alusel.

Tugevused ja piirangud

Tugevused

• Väljakujunenud ühilduvus: Paljud olemasolevad otsingu- ja päringusüsteemid võivad juba olla kavandatud selle 1536-dimensiooniliste vektorite ümber.
• Kasulik sisendimaht: 8192 tokeni piirang on märksa paindlikum kui varasem 2048 tokeni embedding-piirang, mida OpenAI mudeli tutvustamisel kirjeldas.
• Lai kasutusala: Sama embedding-lähenemine toetab otsingut, päringute koostamist, klasterdamist, soovitusi, anomaaliate tuvastamist ja klassifitseerimist.
• Lihtne väljundvorming: Rakendused saavad kindla suurusega arvulise vektori, mida saab standardse vektoriotsingu taristu abil salvestada ja võrrelda.

Piirangud

• Ainult tekst: Mudel võtab vastu teksti ja tagastab arvulised vektorid. See ei loo algupäraselt teksti, pilte, heli ega videot.
• Genereerimise või arutlemise lõpp-punkt puudub: Seda ei tohiks valida juhul, kui rakendus vajab mudelilt endalt vastuseid, selgitusi, koodi, tööriistade kasutamist või vestluslikku suhtlust.
• Fikseeritud dimensioonid: Erinevalt uuematest text-embedding-3 mudelitest ei paku ada-002 esitatud spetsifikatsioonide kohaselt seadistatavat dimensioonide parameetrit.
• Migratsiooni keerukus: ada-002 vektorid ei ole teiste embedding-perekondade vektoritega asendatavad. Teisele mudelile üleminek nõuab üldjuhul salvestatud sisu ja saabuvate päringute uuesti embedding'uteks teisendamist.
• Vanem tõhususpositsioon: OpenAI uuemaid embedding-mudeleid esitletakse paljude uute projektide puhul tugevamate või tõhusamate valikutena.

Sisendi, väljundi ja võimaluste piirid

text-embedding-ada-002 toetab ainult tekstisisendit. Selle väljund on embedding-vektor, mitte vastus, mida kasutaja saaks otse lugeda. 1536 arvu kodeerivad alljärgneva tarkvara jaoks kasulikke seoseid, kuid need ei ole genereeritud kokkuvõte, tõlge, klassifitseerimissilt ega selgitus.

Mudeli kohta ei ole viidatud tuge multimodaalsele sisendile, piltide mõistmisele, heli töötlemisele, video töötlemisele, tööriistade kutsumisele, voogedastusvastustele, struktureeritud JSON-väljundile ega teksti genereerimisele. Need ei ole pelgalt puuduolevad kasutajaliidese funktsioonid, vaid jäävad embedding-mudelina dokumenteeritud rollist väljapoole.

Seetõttu tuleb mudeli arutlemis- ja kodeerimisvõimeid pidada mittekohaldatavaks. See võib esitada programmeerimisprobleemi või arutlusülesande kohta käivat teksti otsingu või klassifitseerimise jaoks, kuid ei lahenda probleemi ega käivita koodi. Kui rakendus vajab pärast otsingut genereeritud vastust, oleks ada-002 tavaliselt üheks suurema töövoo komponendiks, mitte vastuseid andvaks mudeliks.

Millal valida text-embedding-ada-002

Vali text-embedding-ada-002 siis, kui olemasolev tootmissüsteem sõltub juba selle vektoritest ja prioriteet on vältida ulatuslikku indeksimigratsiooni. See võib olla mõistlik valik ka juhul, kui pärandrakendust on ada-002-ga hinnatud ning selle otsingukvaliteet, salvestusskeem ja järjestuslävendid on juba stabiilsed.

Enne mudeli kasutamise jätkamist veendu, et see on konto ja juurutustee kaudu endiselt saadaval, et 8192 tokeni piirang on valitud tekstilõikude jaoks piisav ning et hind 0,10 dollarit miljoni sisendtokeni kohta sobib praeguse eelarvega. Eriti oluline on teisendada nii dokumendid kui ka päringud embedding'uteks sama mudeli abil.

Uue otsingu-, soovitus- või päringusüsteemi puhul võrdle ada-002 mudelitega text-embedding-3-small ja text-embedding-3-large tüüpilistel andmetel. Uuemad mudelid sobivad paremini siis, kui projektis on prioriteediks tänapäevane otsingukvaliteet, madalam hind, seadistatavad dimensioonid või uus vektorindeks ilma pärandühilduvuse nõudeta. Suurt või keerukat migratsiooni tuleks põhjendada mõõdetava paranemisega otsingu asjakohasuses, käituskuludes, salvestusvajaduses või hoolduses.

Migratsiooniga seotud kaalutlused

Migratsioon ei tähenda lihtsalt mudelinime muutmist tulevaste päringute jaoks ja vanade vektorite alles jätmist. Järjepideva asendustöövoo puhul valitakse tavaliselt uus mudel, teisendatakse salvestatud lähtesisu uuesti embedding'uteks, ehitatakse vektorindeks ümber või uuendatakse seda ning muudetakse samal ajal ka päringute embedding'uks teisendamist. Ada-002 vektorite segamine teise embedding-perekonna vektoritega võib muuta sarnasuse võrdlused kehtetuks.

Hinda asendusmudelit võimaluse korral tegelike otsingute ja märgendatud asjakohasushinnangute abil. Kontrolli, kas vektorandmebaas toetab uusi dimensioone, kas salvestus- ja indekseerimiskulud muutuvad ning kas rakenduse lävendeid tuleb kohandada. Kui tagasipöördumine või tulemuste võrdlemine on oluline, hoia vana indeks testimise ajal kättesaadavana.

Kokkuvõte

text-embedding-ada-002 on endiselt kasutatav OpenAI embedding-mudel teksti vektoriks teisendamise töövoogude jaoks. Selle väljundis on 1536 dimensiooni, sisendi piirang on 8192 tokenit ning loetletud hind on 0,10 dollarit 1 miljoni sisendtokeni kohta. Tänapäeval on selle tugevaim praktiline põhjendus ühilduvus väljakujunenud süsteemidega. Uute projektide puhul on uuemad text-embedding-3 mudelid üldjuhul sobivamad alternatiivid, samas kui ada-002 jääb asjakohaseks juhul, kui olemasoleva vektorindeksi ja otsingutöövoo säilitamine on tähtsam kui uuemale embedding-ruumile üleminek.