Mis on Seed-1.6-Embedding?
Seed-1.6-Embedding on ByteDance’i Seedi meeskonna välja töötatud multimodaalne embeddingu-mudel, mis toodi turule 28. juunil 2025. See põhineb mudelil Seed1.6-Flash, kuid selle eesmärk erineb vestlus- või tekstigeneratsioonimudeli omast: see teisendab sisu numbrilisteks vektoriteks, mis esindavad semantilist tähendust.
Neid vektoreid, mida nimetatakse tavaliselt embedding’uteks, saab salvestada vektorandmebaasi ja võrrelda teiste vektoritega. Sarnase tähendusega üksused paiknevad saadud representatsiooniruumis tavaliselt lähestikku. Näiteks saab otsingupäringut „punane sportauto mägiteel“ võrrelda piltide vektoritega, et leida visuaalselt ja semantiliselt seotud pilte. Samuti saab pilti kasutada seotud teksti-, pildi- või videosisu leidmiseks.
Mudel on Volcano Engine’i kaudu kättesaadav API mudeli ID-ga doubao-embedding-vision-250615. Dokumentatsiooni järgi on selle roll arendajatele ja ettevõtetele mõeldud vektoriseerimine, mitte otsene vestlus või sisu genereerimine.
Toetatud sisendid ja väljund
Seed-1.6-Embedding aktsepteerib teksti, pilte, videot ja nende kombinatsioone. Mudeli peamine eripära seisneb selles, et need sisendid saab teisendada ühtsesse semantilisse ruumi. See võimaldab ristmodaalset otsingut, ilma et iga sisutüübi jaoks oleks vaja eraldi otsingumudelit.
- Tekstisisend: sobib otsingupäringute, pealkirjade, dokumentide, siltide ja muu tekstilise sisu jaoks.
- Pildisisend: pilte saab indekseerida või võrrelda teksti ja muu visuaalse sisuga.
- Videosisend: toetab videootsingut ja indekseerimist videosalvestistest valitud kaadrite kaudu.
- Segamodaalne sisend: teksti, pilte ja videot saab kasutada otsingutöövoogudes, kus rakendus peab kombineerima mitut tüüpi signaale.
Mudel tagastab tihedad ujukomaarvudest koosnevad embedding-vektorid, mitte loomulikus keeles teksti, pilte, heli ega videot. Vaikimisi on vektori suurus 2048 dimensiooni, kuid saadaval on ka 1024-dimensiooniline valik. Väiksem representatsioon võib vähendada salvestus- ja otsingukulusid, kui rakendus ei vaja suuremat vektorisuurust.
API võib tagastada embedding’ud ujukomaarvudena või Base64-kodeeritud andmetena. Seed-1.6-Embedding toetab dokumenteeritud multimodaalse vektoriseerimise liidese kohaselt ka hõredaid embedding’uid ainult tekstisisendi korral. Versioon 250615 ei toeta uuemat mitme embedding’u väljundvormingut.
Kuidas ristmodaalne otsing toimib?
Tavapärases tekstiotsingusüsteemis võrreldakse tekstipäringut peamiselt tekstiga. Multimodaalne embedding-süsteem annab eri tüüpi sisule ühilduvad representatsioonid. Seetõttu saab tekstikirjeldust ja pilti, millel on kirjeldatud stseen, võrrelda sama üldise otsingumehhanismi abil.
Praktilised näited:
- Tootepiltide kogu otsimine loomulikus keeles kirjutatud kirjelduse abil.
- Üles laaditud pildiga seotud dokumentide, pealkirjade või klienditoe kirjete leidmine.
- Visuaalselt või semantiliselt sarnaste hetkede leidmine indekseeritud videokogust.
- Tekstiliste metaandmete ja visuaalse sisu kombineerimine soovitussüsteemis üksuste järjestamisel.
- Piltide või videoklippide leidmine eraldi generatiivsele mudelile konteksti andmiseks.
Videot töödeldakse valitud kaadrite kaudu. Esitatud dokumentatsiooni kohaselt ei mõista mudel praegu videofailides sisalduvat heli. Rakendused, mis vajavad kõne, heliefektide või muu helipõhise videosisu otsingut, peaksid seetõttu heli eraldi sobiva mudeli abil eraldama ja töötlema.
Tehnilised piirangud ja API omadused
Volcano Engine’i dokumentatsioon määrab mudeliversiooni 250615 kontekstiakna suuruseks 128K. See on dokumenteeritud mudelitaseme konteksti näitaja, mida ei tohiks segi ajada multimodaalse vektoriseerimisliidese sisendipõhiste piirangutega.
Dokumenteeritud liideses on üksikute tekstisisendite piirang 8K tokenit. Videofailide suurus on piiratud 50 MB-ga. Versioonil 250615 puuduvad ka kohandatud videokaadrite valimise juhtelemendid, mistõttu täpset kontrolli valitavate kaadrite üle vajavad rakendused võivad olla sunnitud video ise eeltöötlema või kasutama mõnd muud toetatud versiooni või töövoogu.
Peamine väljundipiirang puudutab embedding’u dimensiooni, mitte genereeritavate tokenite hulka: vektor sisaldab vaikimisi 2048 dimensiooni või väiksema valiku korral 1024 dimensiooni. Vestluslikku maksimaalse väljundtokenite arvu seadet ei ole, sest mudel ei genereeri proosateksti.
| Spetsifikatsioon | Seed-1.6-Embedding |
|---|---|
| Pakkuja | ByteDance Seed |
| Volcano Engine’i mudeli ID | doubao-embedding-vision-250615 |
| Väljalaskekuupäev | 28. juuni 2025 |
| Sisendmodaliteedid | Tekst, pildid, video ning teksti, piltide ja video kombineeritud sisendid |
| Väljund | Tihedad embedding’u-vektorid; vaikimisi 2048 dimensiooni või valikuliselt 1024 dimensiooni |
| Kontekstiaken | 128K Volcano Engine’i dokumentatsiooni kohaselt |
| Üksiku tekstisisendi piirang | 8K tokenit dokumenteeritud multimodaalse vektoriseerimise liideses |
| Videofaili piirang | 50 MB |
| Videoheli mõistmine | Ei ole toetatud |
Milleks see kõige paremini sobib?
Seed-1.6-Embedding sobib kõige paremini süsteemidele, kus sisu tuleb leida, rühmitada, järjestada või võrrelda, mitte genereerida. Selle jagatud representatsioon on eriti kasulik siis, kui päring ja salvestatud sisu kasutavad eri modaliteete.
Semantiline otsing ja indekseerimine
Organisatsioonid saavad dokumentidest, piltidest, tooterekorditest või videolõikudest luua embedding’ud ja salvestada vektorid vektorandmebaasi. Seejärel saab otsingupäringute abil leida sisu tähenduse, mitte ainult täpsete märksõnade põhjal. Video puhul võib indekseerimine hõlmata valitud kaadritest representatsioonide loomist ning nende sidumist rakenduses ajatemplite või metaandmetega.
Multimodaalne otsinguga täiendatud genereerimine
Otsinguga täiendatud genereerimise süsteem saab Seed-1.6-Embeddingu abil leida asjakohaseid pilte, teksti või videot, enne kui annab selle konteksti edasi eraldi generatiivsele mudelile. See on kasulik visuaalsete teadmistebaaside, tootetugisüsteemide, meediaarhiivide ja rakenduste puhul, mis vajavad tõendusmaterjali mitut tüüpi sisust.
Klassifitseerimine, klasterdamine ja soovitused
Embedding-vektoreid saab kasutada ka rühmitamiseks ja sarnasusel põhinevaks järjestamiseks. Sarnased tooted, dokumendid, pildid või klipid saab koondada ühte rühma ning soovitused võivad põhineda semantilisel või visuaalsel lähedusel. Need on rakendustaseme kasutusviisid: mudel pakub representatsioone, samal ajal kui ümbritsev andmebaas või masinõppesüsteem otsustab, kuidas üksusi järjestada ja korraldada.
Tugevused ja kompromissid
Seed-1.6-Embeddingu peamine tugevus on selle ristmodaalne ülesehitus. Üks mudeliperekond saab toetada teksti, piltide ja videoga seotud otsingut, selle asemel et piirata rakenduse ainult tekstipõhise semantilise otsinguga. Valik 2048 ja 1024 dimensiooni vahel annab arendajatele ka võimaluse teha kompromiss salvestusruumi ja otsingutõhususe vahel.
Mudel ei ole universaalne AI-liides. See toodab vektoreid, mitte vastuseid. Dokumenteeritud andmetel ei toeta see tööriistade ega funktsioonide väljakutsumist, voogedastusega genereerimist, struktureeritud väljundi režiimi ega natiivset kõne-, pildi- või videogenereerimist. Samuti ei ole see mõeldud arutlevateks vestlusteks ega koodi genereerimiseks. Esitatud mudelihinnangu väljad annavad arutlemise ja kodeerimise kasulikkusele hindeks 1, kuid need on toimetuslikud andmebaasiskoorid, mitte pakkuja avaldatud võrdlustestide tulemused, ning neid ei tohiks tõlgendada embedding-mudeli võimekusena.
Kiirus ja hind erinevad samuti vestlusmudeli omadest. Embedding’ud luuakse tavaliselt indekseerimis- või otsinguteenuse osana ning väiksem 1024-dimensiooniline valik võib vähendada salvestatavate ja töödeldavate andmete hulka. Seed-1.6-Embeddingu mudelipõhist avalikku hinda ei õnnestunud esitatud ametlikust dokumentatsioonist siiski kinnitada. Volcano Engine’i kasutust kirjeldatakse kasutuspõhisena ning see võib sõltuda juurutatud teenusest ja sisendi mahust, mistõttu tuleks kehtivat hinda kontrollida vastavas Volcano Engine’i kontos või tootedokumentatsioonis.
Millal valida Seed-1.6-Embedding?
Vali Seed-1.6-Embedding siis, kui peamine ülesanne on teksti, piltide, video või nende kombinatsioonide leidmine või võrdlemine. See sobib hästi meediaarhiivi, visuaalse tooteotsingu, multimodaalse teadmistebaasi, soovitustöövoo või otsingusüsteemi jaoks, mis peab vastu võtma tekstipäringu ja tagastama mittetekstilist sisu.
2048-dimensiooniline väljund on dokumenteeritud vaikimisi valik, kui rakendus seab esikohale representatsioonivõimekuse ja suudab katta sellega seotud vektorisalvestuse kulu. 1024-dimensioonilist valikut tasub kaaluda siis, kui andmebaasi suurus, mälu või otsingu tõhusus on olulisem. Valikut tuleks hinnata rakenduse enda otsingukvaliteedi nõuete põhjal, mitte eeldada ainult dimensioonide arvu järgi.
Teine valik võib olla sobivam siis, kui rakendus vajab otseseid loomulikus keeles vastuseid, koodi genereerimist, tööriistade kasutamist, kõne mõistmist, video ja heli analüüsi või piltide ja video genereerimist. Eraldi generatiivset mudelit saab Seed-1.6-Embeddinguga kombineerida otsinguga täiendatud süsteemis, kuid Seed-1.6-Embeddingut ennast tuleks käsitleda otsingu- ja representatsioonikomponendina.
Kättesaadavus ja olulised piirangud
Praegu on Seed-1.6-Embedding märgitud Volcano Engine’i kaudu kättesaadavaks. Juurdepääs, piirkondlik saadavus, konto nõuded, limiidid ja lõplik teenusehind võivad sõltuda valitud Volcano Engine’i juurutusest ning neid ei ole esitatud uuringus täielikult täpsustatud.
Enne mudeli kasutuselevõttu peaksid arendajad katsetama oma valdkonnast pärit tüüpilise sisuga. Eelkõige tuleks hinnata valitud kaadrite kaudu video töötlemise mõju, 8K-tokenilist tekstisisendi piirangut, 50 MB suurust videopiirangut ning videoheli mõistmise puudumist. Samuti tuleb otsustada, kas 1024-dimensioonilised vektorid tagavad piisava otsingukvaliteedi või õigustab rakenduse salvestus- ja otsingueelarve vaikimisi 2048-dimensioonilise väljundi kasutamist.