Embedding-V1

Mis on Baidu Embedding-V1?

Baidu Embedding-V1 on Baidu pakutav tekstiembedding’u mudel. Embedding on teksti arvuline esitus: lõigu või otsese vastuse tagastamise asemel teisendab mudel lause, päringu, dokumendilõigu või tootekirjelduse ujukomaarvudest koosnevaks vektoriks. Seejärel saab sarnase tähendusega tekste otsingu- või masinõppesüsteemis matemaatiliselt võrrelda.

Mudel on seotud Baidu ERNIE tehnoloogiaga ning see on saadaval Baidu Qianfani ja AI Studio kaudu. Mudeli tavapäraselt dokumenteeritud identifikaator on embedding-v1. Uuem Qianfani mudelite loendi liides pakub ka vastavat embedding’u kirjet identifikaatoriga embedding, seega peaksid arendajad järgima konkreetse kasutatava lõpp-punkti nõutud identifikaatorit.

Embedding-V1 ei ole vestlusmudel ega genereeri loomulikus keeles selgitusi. Selle ülesanne on valmistada tekst ette järgnevateks toiminguteks, nagu lähima naabri otsing, dokumentide otsing, soovituste tegemine, semantiline sobitamine ja otsinguga täiendatud genereerimine (RAG).

Tehnilised andmed ja sisendipiirangud

Baidu esitatud dokumentatsiooni kohaselt genereerib Embedding-V1 384-mõõtmelisi vektoreid. Iga mõõdet esitatakse ujukomaarvuna. Rakendus võib salvestada need vektorid vektorandmebaasi või muusse otsingusüsteemi ning võrrelda neid koosinussarnasuse või mõne muu kaugusmõõdu abil.

Tokeni- ja märgipiirangud kehtivad iga teksti kohta eraldi, mitte tingimata kogu dokumendikogumi kohta. Seetõttu tuleb pikk dokument enne embedding’u loomist väiksemateks lõikudeks jagada. Praktilise töövoo korral võib teadmistebaasi artikli jaotada osadeks, luua iga osa kohta ühe vektori ning säilitada nende vektorite kõrval ka algteksti ja metaandmed.

384-mõõtmeline väljund on suhteliselt kompaktne. See võib võrreldes märksa suuremaid vektoreid tagastavate embedding’u mudelitega vähendada salvestus- ja võrdluskulusid, kuigi esitatud uuring ei sisalda võrdlusandmeid selle kohta, kuidas mudeli otsingukvaliteet teiste embedding’u mudelitega võrreldes on.

Mida mudel tagastab?

Embedding-V1 tagastab vektorandmeid, mitte genereeritud teksti. Näiteks võib rakendus saata kasutaja küsimuse ja saada selle küsimuse 384 väärtusest koosneva esituse. Seejärel saab rakendus võrrelda küsimuse vektorit salvestatud dokumendilõikudest loodud vektoritega. Kõige kõrgema skooriga lõike võib kasutajale kuvada või edastada eraldi keelemudelile, mis genereerib lõpliku vastuse.

See erinevus on mudeli võimekuse hindamisel oluline. Mudelil on tekstisisend ja embedding’u väljund, kuid see ei paku vestluslikku tekstiväljundit, pildi-, heli- ega videoväljundit. Samuti ei ole see mõeldud piltide, heli või video tõlgendamiseks. Esitatud uuringus ei määratleta eraldi väljundi maksimaalset tokenipiirangut, sest väljund on genereeritud proosa asemel fikseeritud suurusega vektor.

Milleks Embedding-V1 kasutatakse?

Embedding-V1 on kõige kasulikum siis, kui rakendus peab leidma tähenduse, mitte täpse märksõnade kattuvuse põhjal seotud teksti. Tüüpilised kasutusviisid on järgmised:

• Semantiline otsing: teisendada otsingupäring ja indekseeritud dokumendid vektoriteks ning leida seejärel sarnase tähendusega lõigud.
• RAG-i teadmistebaasid: leida sisemistest dokumentidest asjakohased lõigud enne, kui eraldi keelemudel vastuse koostab.
• Küsimuste ja dokumentide sobitamine: võrrelda küsimust KKK-kirjete, tugiteabeartiklite või eeskirjadega.
• Soovitused: sobitada kasutaja huvid või tootekirjeldus seotud sisuga.
• Dubleerimise ja sarnasuse tuvastamine: leida dokumendid, küsimused või kirjeldused, mis väljendavad sarnaseid ideid.
• Teadmiste kaevandamine: korraldada või klassifitseerida teksti semantiliste seoste põhjal.

Näiteks tugiteabe otsingusüsteemi korral võib operaator luua iga abikeskuse lõigu embedding’u juba ette. Kui klient esitab küsimuse, loob süsteem küsimusest embedding’u, otsib lähedasi vektoreid ja tagastab kõige asjakohasemad lõigud. Embedding-V1 täidab esituse loomise ülesannet; otsingutaristu ja võimalik lõplikku vastust genereeriv mudel jäävad eraldi komponentideks.

API-juurdepääs ja avaldatud hinnad

Baidu dokumenteerib Embedding-V1 oma AI Studio embedding’ute liidese ja Baidu Qianfani API-de kaudu. Selle lehe jaoks esitatud mudeli metaandmetes on hinnaks märgitud ligikaudu ¥0,0005 iga 1000 sisendtokeni kohta. Samades metaandmetes on ka väli, mille kohaselt maksab lõpetus ¥0,0005 iga 1000 tokeni kohta. Kuna Embedding-V1 tagastab tavalise lõpetusteksti asemel vektoreid, ei tohiks seda lõpetusvälja tõlgendada tavapärase genereeritud teksti tasuna, ilma et kasutatava lõpp-punkti arveldusloogika oleks üle kontrollitud.

Loetletud hinda tuleks käsitleda pigem jooksva mudeli metaandmena kui püsiva hinnapakkumisena. Enne tootmiskulude hindamist peaksid arendajad kontrollima Qianfani või AI Studio kehtivat hinnakirja, lõpp-punkti, konto tingimusi ja võimalikke piirkondlikke arveldustingimusi. Esitatud uuring ei sisalda selle mudeli kohta eraldi tellimishinda ega garanteeritud tasuta kasutusmahtu.

Kulude kavandamisel tuleb arvestada, et sisendtokenite arv sõltub sellest, kuidas dokumendid lõikudeks jaotatakse. Dokumendi jagamine paljudeks kattuvateks lõikudeks võib mõnes süsteemis otsingut parandada, kuid suurendab ka indekseerimiseks saadetava teksti hulka. 16 teksti suurune partiipiirang võib aidata rakendustel töödelda ühe päringuga mitut lühikest sisendit, arvestades lõpp-punkti kehtivaid päringureegleid.

Peamised tugevused ja kompromissid

Embedding-V1 kõige selgem tugevus on spetsialiseerumine. See ei kuluta ressursse dialoogile, piltide genereerimisele, tööriistade kutsumisele ega pikale arutlusele, kui rakendus vajab ainult vektor-esitusi. Selle 384-mõõtmeline väljund on kompaktne ning loetletud tokenihind on piisavalt madal, et muuta mudel asjakohaseks suure mahuga indekseerimis- ja otsingutööde puhul, eeldusel et praegused metaandmed kehtivad valitud teenuse kohta.

Sisendipiirangud on samuti hõlpsasti mõistetavad: 384 tokenit ja 1000 märki teksti kohta ning kuni 16 teksti päringu kohta. See võib sobida lühikeste küsimuste, KKK-de, tootekirjelduste ja dokumendilõikude jaoks, ilma et päringute koostamine muutuks keerukaks.

Peamine kompromiss seisneb selles, et mudel ei ole terviklik tehisintellektiassistent. See ei saa vastata kasutaja küsimusele loomulikus keeles, teha kokkuvõtet leitud lõigust, kirjutada koodi ega täita mitmeetapilist ülesannet. Tootmissüsteem vajab tavaliselt vektorindeksit ning võib vajada ka eraldi keelemudelit vastuste genereerimiseks. Lühike tekstipõhine sisendipiirang tekitab pikkade dokumentide korral täiendava eeltöö vajaduse ning esitatud uuring ei sisalda sõltumatuid kvaliteedivõrdlusi suuremate või uuemate embedding’u alternatiividega.

Arutlus, kodeerimine ja tööriistade tugi

Arutlus ja kodeerimine ei ole Embedding-V1 puhul iseseisvate võimetena tähenduslikud samal viisil nagu vestlus- või arutlusmudeli puhul. Mudel võib esitada tehnilise teksti, lähtekoodi kirjeldused või programmeerimisküsimused vektoritena, mis võib aidata otsingusüsteemil leida seotud materjali. Kuid see ei genereeri koodi, ei selgita lahendust, ei käivita koodi ega vii kasutaja eest läbi mitmeetapilist arutluskäiku.

Esitatud tehnilised andmed ei määratle selle mudeli puhul funktsioonikutseid, tööriistade kasutamist, veebiotsingut, struktureeritud tekstiväljundit, genereerimise voogedastust ega peenhäälestuse tuge. Seetõttu tuleks see integreerida embedding’u lõpp-punktina, mitte käsitleda üldotstarbelise agendina. Otsing, andmebaasile juurdepääs, ümberjärjestamine, vastuse genereerimine ja tööriistade käivitamine tuleb rakendada ümbritsevates rakenduse komponentides.

Kiiruse ja hinna positsioneerimine

Saadaval olev uuring annab toimetusliku kiirusehinnangu 7 punkti 10-st ja kuluhinnangu 8 punkti 10-st. Need on hindamistulemused, mitte Baidu avaldatud võrdlustestid ega garantiid. Need peegeldavad kompaktse embedding’u mudeli praktilist atraktiivsust ja madalat loetletud tokenihinda, mitte eri pakkujate mõõdetud latentsuse võrdlust.

Võrreldes üldotstarbelise keelemudeliga on Embedding-V1 sobivamat tüüpi lahendus, kui ülesanne on teksti ulatuslik indekseerimine või võrdlemine. Võrreldes suurema embedding’u mudeliga võib selle kompaktne vektorisuurus vähendada salvestus- ja otsingukulusid, kuid esitatud materjal ei tõenda, kas selle otsingukvaliteet on parem või halvem. Meeskonnad peaksid katsetama tüüpiliste päringute ja dokumentidega, eriti juhul, kui otsingu täpsus on vektori suurusest või hinnast olulisem.

Millal valida Embedding-V1?

Vali Embedding-V1, kui vajad Baidu pakutavat tekstiembedding’u mudelit lühikeste sisendite jaoks ning rakendus teeb tegeliku otsingu või sobitamise eraldi. See on mõistlik kandidaat järgmisteks kasutusjuhtudeks:

• Hiinakeelsed või Baidu-kesksed otsingu- ja teadmistebaasiprojektid, kus Qianfan või AI Studio on juba kasutatava tehnoloogiapinu osa.
• KKK-, toe-, kataloogi-, soovitus- ja dokumendisobitamise süsteemid.
• Suure mahuga indekseerimistööd, kus on kasulik kompaktne 384-mõõtmeline vektor ja madal loetletud tokenihind.
• RAG-i töövood, mis peavad leidma asjakohased lõigud enne nende saatmist eraldi vastuseid genereerivale mudelile.

Teine lahendus võib olla sobivam, kui vajad ühte mudelit vastuste genereerimiseks, koodi kirjutamiseks, failide analüüsimiseks, tööriistade kutsumiseks või piltide ja heli töötlemiseks. Teine embedding’u mudel võib olla eelistatav ka siis, kui rakendus vajab pikemat sisendipiirangut, dokumenteeritud võrdluseelist, teistsugust keele- või piirkonnakesksust või kvaliteeditaset, mille pakkumist Embedding-V1 puhul ei ole tõestatud. Esitatud uuringus ei nimetata Baidu teist embedding’u mudelit, millega saaks kvaliteeti otseselt võrrelda.

Rakendusjuhised ja piirangud

Usaldusväärse otsingu tagamiseks jaga pikad dokumendid lõikudeks, mis jäävad mudeli tekstipõhiste piirangute piiresse, säilita dokumendiidentifikaatorid ja allika metaandmed ning kasuta salvestatud lõikude ja saabuvate päringute puhul sama embedding’u mudelit. Rakendus peaks määratlema ka selle, mitu lähimat tulemust leida ning kas vaja on eraldi ümberjärjestamise või vastuse genereerimise etappi.

Ära saada tervet pikka dokumenti ühe päringuna ega eelda, et mudel teeb selle automaatselt kokkuvõtte või valib välja olulised osad. Embedding-V1 esitab talle antud teksti; see ei otsusta, millised jaotised on olulised, ega loo lõplikku vastust. Teksti jaotamine, indekseerimine, sarnasuse arvutamine, filtreerimine ja tulemuste esitamine on ümbritseva süsteemi ülesanded.

Lõpuks tuleb arvestada, et mudeliidentifikaatorid ja hinnad võivad Baidu eri liidestes erineda. Dokumenteeritud nimi embedding-v1 ja uuem Qianfani mudelite loendi kirje nimega embedding ei tohiks rakenduse konfiguratsioonis läbimõtlematult segamini kasutada. Enne juurutamist kontrolli lõpp-punkti praegust identifikaatorit, piiranguid, autentimisnõudeid ja arveldusreegleid.