clir-sts-dolphin

Mis on clir-sts-dolphin?

clir-sts-dolphin on Naver Cloudi CLOVA Studio kataloogis olev lausemanuste mudel. Selle eesmärk on esitada lauseid arvuliste vektoritena, et tarkvara saaks nende tähendust võrrelda. Mudel on loodud semantiliseks tekstilise sarnasuse võrdlemiseks, mida sageli lühendatakse kui STS, mitte vestlemiseks või teksti genereerimiseks.

Kui rakendus saadab teksti CLOVA Studio Embedding API-le, tagastab clir-sts-dolphin vektori, mis sisaldab 1 024 ujukomaarvu. Vektor ei ole mõeldud inimesele otse lugemiseks. Selle asemel võrdleb rakendus seda teise vektoriga, et teha kindlaks, kas vastavad laused on semantiliselt sarnased.

Näiteks võib otsingusüsteem võrrelda päringut kuidas saan oma parooli lähtestada? tugiteenuse artikli pealkirjaga Kontole juurdepääsu taastamise juhised. Kuigi sõnastus on erinev, suudab manustemudel esitada need tekstid viisil, mis aitab süsteemil mõista nende omavahelist seost tähenduse tasandil.

Milline on selle roll CLOVA Studios?

clir-sts-dolphin kuulub Naver Cloudi CLOVA Studio manustetööriistade hulka ja on saadaval CLOVA Studio Embedding API kaudu. Teenusepakkuja positsioneerib seda mudelina, mis on spetsialiseerunud lausete tähenduse täpsele võrdlemisele.

Naver Cloud eristab seda mudelist clir-emb-dolphin, mis on üldisema otstarbega manustemudel. Dokumenteeritud erinevus on sarnasuse töövoo valimisel oluline: clir-sts-dolphin on mõeldud lausete sarnasuse hindamiseks ning selle soovituslik võrdlusmõõdik on koosinussarnasus, samal ajal kui clir-emb-dolphin on kirjeldatud eraldi ja selle soovituslik kaugusmõõdik on skalaar korrutis.

Mudel on loetletud ka Naveri CLOVA Studio LangChaini integratsioonis. See võib olla praktiline rakenduste puhul, mis juba kasutavad LangChainiga ühilduvaid manustekomponente, kuigi mudel on endiselt manusteteenus, mitte generatiivne keelemudel.

Kontrollitud tehnilised andmed

500 tokeni piirang kehtib sisendile, mida töödeldakse ühe Embedding API päringu käigus. Vaadatud dokumentatsioonis ei avaldata mudelipõhist teadmiste lõppkuupäeva, genereeritud väljundi piirangut ega väljundtokenite limiiti. Need andmed on manustemudeli puhul eelduspäraselt puudu, sest mudel tagastab genereeritud tekstilõikude asemel vektoreid.

Kuidas semantiline sarnasuse võrdlus toimib?

Iga sisendlause teisendatakse punktiks 1 024-mõõtmelises matemaatilises ruumis. Sarnase tähendusega laused peaksid valitud kaugusarvutuse järgi üldjuhul andma teineteisele lähemal asuvad vektorid. clir-sts-dolphini puhul soovitab Naver Cloud kasutada koosinussarnasust.

Koosinussarnasus võrdleb kahe vektori vahelist nurka, mitte lihtsalt nende algset pikkust. Praktikas saab rakendus saadud skoori kasutada kandidaatlausete, dokumentide või kirjete järjestamiseks kõige sarnasemast kõige vähem sarnaseni. Täpne lävi, mille põhjal kahte teksti sarnaseks nimetada, sõltub rakendusest ning seda tuleks hinnata esinduslike andmete põhjal, mitte ette eeldada.

Mudel ei otsusta iseseisvalt, et kaks lauset on duplikaadid, asjakohased või omavahel asendatavad. See pakub vektorrepresentatsioone; ülejäänud rakendus peab määratlema järjestusreeglid, läved, filtreerimisloogika ja kasutajale kuvatava tulemuse.

Parimad kasutusjuhud

clir-sts-dolphin on kõige kasulikum siis, kui peamine ülesanne on võrrelda suhteliselt lühikeste tekstilõikude tähendust. Sobivad rakendused on näiteks:

• Lausete sarnasuse hindamine: Parafraaside, tugiteenuse küsimuste, pealkirjade, tootekirjelduste või muude lühikeste tekstiüksuste võrdlemine.
• Semantiline otsing: Kasutaja päringu ja dokumentide või tekstilõikude sobitamine tähenduse, mitte täpsete märksõnade kattuvuse alusel.
• Dokumentide seotus: Kahe artikli, kirje või sisuelemendi omavahelise seotuse hindamine.
• Klasterdamine: Lausete või lühidokumentide rühmitamine teemade järgi nende vektorrepresentatsioonide alusel.
• Klassifitseerimise tunnused: Manuste kasutamine sisendtunnustena eraldi klassifitseerija jaoks, näiteks teema- või sentimentiklassifitseerimise süsteemis.
• Duplikaatide ja peaaegu duplikaatide analüüs: Sarnast teavet väljendava teksti tuvastamine ka siis, kui sõnastus ei ole identne.

Semantilise otsingu tüüpilises töövoos manustatakse dokumendid ette, salvestatakse nende vektorid sobivasse vektorindeksisse, manustatakse saabuv päring ning järjestatakse salvestatud vektorid koosinussarnasuse alusel. Mudel ise ei paku otsinguindeksit, järjestusliidest ega lõpliku vastuse genereerimist; need funktsioonid kuuluvad ülejäänud rakenduse juurde.

Sisendi pikkus ja dokumentide tükeldamine

Sisendi maksimaalne pikkus on 500 tokenit päringu kohta. See on praktiline piirang lausetaseme ja lühikese teksti töötlemisel, kuid tähendab, et pikka dokumenti ei tohiks saata ühe töötlemata sisendina.

Pikem materjal tuleks enne manustamist jagada tähenduslikeks osadeks. Lõikud, pealkirjad, üksikud tugiteenuse kirjed või muud semantilised üksused on tavaliselt kasulikumad tükeldamiskohad kui suvalised katkestused lause keskel. Pärast otsingut saab rakendus kõige asjakohasemaid osi kuvada või edasiseks töötlemiseks eraldi süsteemile edastada.

Tükeldamine mõjutab ka otsingu kvaliteeti. Väga väikesed osad võivad kaotada vajaliku konteksti, samas kui väga suured osad võivad ühendada mitu omavahel mitteseotud teemat ja muuta sarnasustulemused ebatäpsemaks. Seetõttu tuleb 500 tokeni piirangut käsitleda rakenduse kavandamise osana, mitte üksnes API valideerimisreeglina.

Tugevused ja kompromissid

clir-sts-dolphini kõige selgem tugevus on spetsialiseeritus. Seda ei esitleta üldotstarbelise mudelina, mis muu hulgas toetab ka manuseid, vaid mudelina, mis on mõeldud spetsiaalselt lausetaseme semantiliseks võrdlemiseks. See fookus võib muuta selle sobivaks valikuks siis, kui peamine nõue on lühikeste tekstide tähenduse võrdlemine järjepideva vektorrepresentatsiooni abil.

Selle 1 024-dimensiooniline väljund pakub fikseeritud suurusega representatsiooni, mida järgnevad otsingusüsteemid saavad salvestada ja indekseerida. Dokumenteeritud soovitus kasutada koosinussarnasust annab arendajatele ka selge lähtekoha seotuse hindamiseks.

Sellel on siiski ka omad kompromissid. Mudel ei genereeri iseseisvalt selgitusi, kokkuvõtteid, klassifikatsioone ega vestluslikke vastuseid. Esitatud mudelikirje kohaselt ei töötle see ka pilte, heli ega videot. Loomulikus keeles vastust vajav süsteem vajab pärast otsingut või klassifitseerimist eraldi generatiivset mudelit või rakenduse komponenti.

500 tokeni sisendipiirang muudab pikkade dokumentide manustamise ilma eeltöötluseta vähem mugavaks. Suurte failide puhul võib pikemate sisenditega töötamiseks loodud mudelit või teenust olla lihtsam kasutada, kuigi esitatud dokumentatsioon ei nimeta konkreetset alternatiivi ega paku otsest kvaliteedivõrdlust.

clir-sts-dolphini võrdlus mudeliga clir-emb-dolphin

Kõige asjakohasem dokumenteeritud võrdlus on Naver Cloudi mudeliga clir-emb-dolphin. Mõlemad kuuluvad manustemudelite kategooriasse, kuid Naver Cloud positsioneerib neid erinevalt.

• clir-sts-dolphin: Spetsialiseerunud lausete sarnasusele ja lausetähenduse täpsele võrdlemisele; soovituslik on koosinussarnasus.
• clir-emb-dolphin: Positsioneeritud üldisema otstarbega manustemudelina; kaugusmõõdikuna soovitatakse skalaar korrutist.

See eristus ei tähenda, et üks mudel oleks alati teisest parem. See näitab, et sarnasuse eesmärk ja kaugusmõõdik peaksid vastama valitud mudelile. Neid kahte mudelit võrdlevad meeskonnad peaksid kasutama enda esinduslikke päringuid, dokumente, keeli ja otsingu sihtmärke, mitte kandma ühe mudeli lävesid või indekseerimise eeldusi teisele üle.

Milliseid funktsioone mudel pakub ja milliseid mitte?

clir-sts-dolphin võtab vastu teksti ja toodab manuseid. Tavapärases tähenduses ei ole see arutlus- ega kodeerimisassistent: vaadatud kirje ei tuvasta loomupäraseid arutlusvooge, koodi genereerimist, tööriistade kasutamist, funktsioonikutseid, voogedastusega genereerimist, struktureeritud tekstiväljundit ega vestlusvastuste genereerimist.

Sellel ei ole ka dokumenteeritud pildi-, heli- ega videomodaalsust. Väljund on arvuline manus, mitte tekst, pilt, heli ega video. Seetõttu tuleks seda hinnata otsingu ja teksti võrdlemise taristu komponendina, mitte iseseisva vestlusroboti või multimodaalse assistendina.

Mudelikirje ei täpsusta täppishäälestust, vahemällu salvestamise tuge, pakktöötluse API kättesaadavust, väljalaskekuupäeva ega selle konkreetse mudeli avalikku tokenipõhist hinda. Neid väärtusi ei tohiks tuletada teistest CLOVA Studio teenustest. Enne kasutuselevõttu peaksid rakendused kinnitama kehtivad kommertstingimused ja kasutusvõimalused oma Naver Cloudi kontolt või teenusepakkuja uusimast dokumentatsioonist.

Hind ja kättesaadavus

clir-sts-dolphin on praegu dokumenteeritud kui CLOVA Studio Embedding API kaudu kättesaadav mudel. Esitatud esimese osapoole viited ei avalda selle täpse mudeli kontrollitud hinda, mistõttu siin konkreetset numbrilist hinda ei esitata.

Kuna manustamise kulu võib sõltuda päringute mahust, konto seadistusest, piirkonnast või kehtivast CLOVA Studio kommertspaketist, peaksid potentsiaalsed kasutajad kontrollima Naver Cloudi kehtivaid hindu ja teenusetingimusi otse. Hinna puudumist vaadatud mudelidokumentatsioonis ei tohiks tõlgendada tasuta juurdepääsuna.

Millal valida clir-sts-dolphin?

Vali clir-sts-dolphin siis, kui peamine ülesanne on lausetaseme semantiline sarnasuse hindamine ja soovid Naver Cloudi manustemudelit, mis on selgelt selleks otstarbeks positsioneeritud. See on mõistlik kandidaat semantilise otsingu, seotud sisu leidmise, klasterdamise ja klassifitseerimise töövoogudes, kus sisendid mahuvad 500 tokeni piiresse ja koosinussarnasus on sobiv.

Kaalu mõnda muud võimalust siis, kui rakendus vajab genereeritud vastuseid, kokkuvõtteid, koodi, tööriistade kasutamist või multimodaalset töötlust. Teine manustemudel võib olla sobivam ka juhul, kui töövoog põhineb mõnel muul sarnasuse mõõdikul, nõuab märksa pikemaid sisendeid või vajab dokumenteeritult võimalusi, mida see mudel ei paku.

Lühidalt öeldes on clir-sts-dolphin kõige parem mõista kui keskendunud tekstiesituse komponenti. Selle väärtus seisneb lühikeste lausete teisendamises võrreldavateks vektoriteks, samal ajal kui otsing, järjestamine, klassifitseerimine, genereerimine ja kasutajasuhtlus jäävad suurema rakenduse ülesanneteks.