Seed1.5-VL

Milleks Seed1.5-VL loodud oli

Seed1.5-VL oli ByteDance Seedi visioon-keeleline alusmudel ülesannete jaoks, mis nõuavad tehisintellektilt visuaalse teabe sidumist keelepõhise arutlemisega. Erinevalt ainult tekstiga töötavast keelemudelist suutis see analüüsida pilte ja videoid koos kirjalike juhistega, vastata visuaalse sisu kohta esitatud küsimustele, tuvastada asjakohaseid piirkondi, tõlgendada dokumente ja lahendada visuaalseid ülesandeid samm-sammult.

Mudel oli mõeldud üldotstarbeliseks multimodaalseks mõistmiseks, mitte piltide või videote genereerimiseks. Kasutaja võis esitada foto ja paluda selle kohta kirjeldust, anda diagrammi ning küsida selgitust, esitada video ja küsida, mis mingil konkreetsel hetkel juhtus, või anda ekraanipildi ning paluda mudelil tuvastada mõni kasutajaliidese element. Laiem eesmärk oli visuaalne arutlemine: selliste probleemide lahendamine, mis nõuavad mitut sammu, mitte lihtsalt pildil olevate objektide nimetamine.

Seed1.5-VL avaldati 13. mail 2025. Avalik uurimisnimi ja majutatud API nimi olid erinevad: Volcano Engine pakkus seda identifikaatoriga doubao-1-5-thinking-vision-pro-250428.

Arhitektuur ja tehniline profiil

ByteDance’i tehniliste materjalide kohaselt kasutas Seed1.5-VL 532 miljoni parameetriga SeedViT-nägemisenkoodrit koos Mixture-of-Experts ehk MoE-keelemudeliga, millel oli 20 miljardit aktiivset parameetrit. Adapter ühendas nägemisennusti loodud visuaalse esituse keelemudeli multimodaalse tokeniruumi külge.

MoE-mudelis saab eri sisendtokenid suunata erinevate ekspertkomponentide kaudu, selle asemel et aktiveerida iga tokeni puhul kõik parameetrid. Seetõttu kirjeldab esitatud aktiivsete parameetrite arv töötlemise ajal kasutatavat osa, mitte tingimata mudelisse salvestatud parameetrite koguarvu. See ülesehitus võimaldas Seed1.5-VL-il ühendada suhteliselt kompaktse nägemiskomponendi palju suurema arutlus- ja keeletöötlussüsteemiga.

Mudelit eeltreeniti ligikaudu 3 triljoni lähtetokeni põhjal. Selle visuaalne töötlusvoog toetas eri lahutusvõimega pilte, kasutades algse lahutusvõime teisendamist. Video puhul kasutati dünaamilist kaadrisageduse ja lahutusvõime valimist. Enne videokaadreid lisati ajatemplitega tokenid, andes mudelile selge ajalise teabe, mis aitas visuaalseid sündmusi konkreetsete ajahetkedega seostada.

Toetatud sisendid ja väljundid

Seed1.5-VL aktsepteeris kolme peamist sisenditüüpi:

• Tekstipõhised juhised ja küsimused
• Pildid
• Video

Selle väljund oli tekst. Mudel ei genereerinud algupäraselt pilte, videoid, heli ega muud meediat. See erinevus on oluline, sest mudel oli sisendi poolel multimodaalne, kuid selle praktiline roll oli meedia analüüsimine ja selgitamine keeles.

Tehnilises aruandes määrati maksimaalseks treeningu kontekstipikkuseks 131 072 tokenit. See väärtus on tehnilistest materjalidest pärinev kontekstipikkuse viide; seda ei tohiks tõlgendada kinnitatud praeguse tootmispiiranguna, sest majutatud teenus on kasutuselt kõrvaldatud. Täpset maksimaalset väljundtokenite arvu ei ole kinnitatud.

Millega Seed1.5-VL hakkama sai

Seed1.5-VL toetas mitmesuguseid visioon-keele ülesandeid:

• Visuaalne küsimustele vastamine: pildil või videos näidatud objektide, stseenide, dokumentide, diagrammide ja sündmuste kohta küsimustele vastamine.
• OCR ja dokumentide mõistmine: nähtava teksti lugemine ning selle kasutamine suurema selgitus- või arutlusülesande osana.
• Diagrammid ja skeemid: visuaalsetest esitustest teabe eraldamine ja nende komponentide vaheliste seoste kirjeldamine.
• Visuaalne maandamine: sõnade või kirjelduste sidumine pildil olevate kindlate piirkondade, objektide või asukohtadega.
• Loendamine ja lokaliseerimine: objektide leidmine ning nende asukoha või hulga hindamine.
• Kolmemõõtmeline ruumiline mõistmine: visuaalses sisendis kujutatud ruumiliste seoste üle arutlemine.
• Video mõistmine: sündmuste jälgimine kaadrite lõikes ja nende sidumine ajalise teabega.
• Visuaalsed mõistatused: mitut arutlussammu nõudvate pildipõhiste probleemide lahendamine.
• Kasutajaliidese (GUI) kasutamine ja mängimine: ekraanide tõlgendamine ning kasutajaliideste või mängukeskkondadega seotud agendipõhiste ülesannete toetamine.

ByteDance teatas oma väljalaskematerjalides tipptasemel tulemustest 38-l 60 avalikust visioon-keele võrdlustestist, sealhulgas 14-l 19 videotestist ja 3-l 7 hinnatud GUI-agendi ülesandest. Need on teenusepakkuja esitatud võrdlustestide väited, mitte sõltumatu hinnang, ning võrdlustestide tulemused ei taga usaldusväärset käitumist iga päriselu pildi, video või kasutajaliidese puhul.

Arutlemine, kodeerimine ja tööriistade tugi

Arutlemine oli Seed1.5-VL-i positsioneerimise keskne osa. Mudel loodi pika ahelaga multimodaalseks arutlemiseks, mis tähendab, et see suutis enne vastuse andmist ühendada visuaalseid tõendeid mitme vahepealse sammuga. Näideteks on visuaalse mõistatuse lahendamine, diagrammi tõlgendamine ja selle teabe rakendamine küsimusele vastamisel või ekraanipildi uurimine, et teha kindlaks, millist kasutajaliidese elementi tuleks kasutada.

Selle arutlusvõime oli peamiselt visuaalne ja keelepõhine, mitte spetsiaalselt tarkvaraarendusele keskendunud. Mudel suutis tõlgendada ekraanipiltidel näidatud koodi või ühendada visuaalse sisendi programmeerimisega seotud juhistega, kuid esitatud uurimismaterjalid ei kinnita eraldi kodeerimise võrdlusprofiili ega spetsiaalset koodigeneerimise režiimi.

Volcano Engine’i API kaudu toetas mudel funktsioonide ja tööriistade kutsumist. See võimaldas rakendusel määratleda toiminguid, mida mudel võis vestluse ajal taotleda. Tööriistade tugi oli kasulik agendikatsetes, GUI-töövoogudes ja süsteemides, mis pidid ühendama visuaalse tõlgendamise väliste toimingutega. Mudel ei muutunud ainuüksi tööriistade olemasolu tõttu autonoomseks arvutikasutajaks; ümbritsev rakendus pidi endiselt rakendama õiguste haldamist, käivitamist ja turvakontrolle.

Tugevused ja piirangud

Seed1.5-VL-i peamine tugevus oli visuaalse arutlemise eesmärgi lai ulatus. See ei piirdunud piltide kirjeldamise või lihtsa visuaalsele küsimusele vastamisega. Teatatud võimekused hõlmasid pilte, videot, OCR-i, diagramme, lokaliseerimist, ajalist mõistmist, GUI-ga suhtlemist ja mängimist. Spetsiaalse nägemisennkoodri ja MoE-keelemudeli kombinatsioon pidi toetama nii üksikasjalikku visuaalset töötlust kui ka keerukat keelepõhist arutlemist.

Mudel pakkus ka suhteliselt avarat konteksti, sest tehnilises aruandes dokumenteeriti maksimaalse treeningu kontekstipikkusena kuni 131 072 tokenit. See võis olla kasulik pikkade viipade, pikemate visioon-keele vestluste või mahukat tekstilist konteksti nõudvate ülesannete puhul. Kuna teenus ei ole enam saadaval, ei saa seda näitajat siiski kasutada uue tootmisjuurutuse kavandamisel.

ByteDance tõi välja mitu nõrkust. Peenetundeline visuaalne tajumine võis olla ebausaldusväärne, eriti siis, kui ülesanne sõltus objektide või piltide väikestest erinevustest. Raskete valdkondadena nimetati ka objektide loendamist, keerukaid ruumilisi seoseid, piltide erinevuste tuvastamist, kombinatoorset otsingut, labürinte ja libistatavaid puslesid. Mõned ajalise videopõhise arutlemise vormid olid endiselt keerulised ning keerukad mitmeastmelised ülesanded võisid anda põhjendamata oletusi või puudulikke vastuseid.

Need piirangud on praktilise kasutuse seisukohast olulised. Mudel võib foto üldist sisu õigesti mõista, kuid siiski sarnaseid objekte valesti kokku lugeda, väikese visuaalse erinevuse tähelepanuta jätta või teha video sündmuste järjekorra kohta vale oletuse. Rakendused, mis sõltuvad täpsest lokaliseerimisest, ohutuskriitilisest tõlgendamisest või usaldusväärsest planeerimisest, peaksid väljundeid valideerima, mitte käsitlema mudeli selgitust absoluutse tõena.

API saadavus ja elutsükkel

Seed1.5-VL-i majutati Volcano Engine’i Arki API kaudu. Dokumenteeritud liides toetas multimodaalseid vestluse lõpetamisi, voogedastusvastuseid, mõtlemise juhtimise parameetrit ja funktsioonitööriistu. Selle API-identiteet oli doubao-1-5-thinking-vision-pro-250428, mitte lihtsalt uurimisnimi Seed1.5-VL.

Mudel ei ole enam praegu juurutatav valik. Volcano Engine’i elutsükli dokumentatsioonis märgiti teenuse lõppkuupäevaks 31. märts 2026 ning ByteDance soovitas üle minna mudelile doubao-seed-2-0-lite-260215. Esitatud uurimismaterjalides on kasutuselt kõrvaldamise kuupäevana märgitud ka 19. detsember 2025. Kuna lõpp-punkti teenus on lõppenud, ei tohiks uued kasutajad rajada uut integratsiooni vana mudeliidentifikaatori ümber.

Seed1.5-VL-i kohta ei esitatud kinnitatud sisendi- ega väljundihindu ning praegust hinda ei tohiks varasema API saadavuse põhjal tuletada. Seetõttu ei saa mudeli kiiruse ja maksumuse näitajaid kasutada tänapäevase ostuotsuse võrdlusena. Uue projekti puhul tuleb hinnata, kas soovitatud järeltulija või mõni muu praegu toetatud visioon-keele mudel pakub vajalikku visuaalset täpsust, kontekstimahtu, latentsust ja hinda.

Millal oli Seed1.5-VL sobiv valik

Kui Seed1.5-VL oli saadaval, sobis see mõistlikult teadus- ja hindamisülesanneteks, mis hõlmasid multimodaalset arutlemist, mitte meedia genereerimist. Sobivad kasutusjuhud olid järgmised:

• Visuaalsele küsimustele vastamise ja piltide põhjal pika arutluse testimine
• Videote analüüsimine ning sündmuste või ajaliste seoste kohta küsimine
• Dokumentidest, ekraanipiltidelt, diagrammidelt või skeemidelt teksti eraldamine ja selgitamine
• Visuaalse maandamise, loendamise ja lokaliseerimise uurimine
• GUI-agendi või mängimisega seotud süsteemide prototüüpimine
• Multimodaalsete võrdlustestide tulemuste võrdlemine visioon-keele mudelite vahel

See sobis halvemini algupärase pildi- või videoloomise, heliga suhtlemise, garanteeritud pikslitaseme täpsuse, keeruka kombinatoorse planeerimise või mis tahes praeguse tootmissüsteemi jaoks, mis nõuab toetatud lõpp-punkti. Lihtsa klassifitseerimise või tavapärase OCR-i puhul võib eelistada kiiremat või odavamat nägemismudelit, samas kui tootmistöövoogudes, mis vajavad aktiivset hooldust ja kehtivat teenusetaseme kohustust, võib parem valik olla uuem toetatud arutlusmudel.

Kokkuvõte

Seed1.5-VL oli tehniliselt laia haardega visioon-keele mudel, mis keskendus piltide ja videote mõistmisele keelepõhise arutlemise abil. Selle 532 miljoni parameetriga nägemisennkooder, 20 miljardi aktiivse parameetriga MoE-keelemudel, video töötlemise ülesehitus ja teatatud võrdlustestide tulemused muutsid selle ByteDance Seedi 2025. aasta multimodaalse uurimistöö portfellis tähelepanuväärseks. Selle tugevamad valdkonnad olid visuaalne arutlemine, dokumentide ja diagrammide analüüs, video mõistmine, maandamine ning agendipõhised visuaalsed ülesanded.

Selle praktiline staatus on nüüd otsustav tegur: Volcano Engine’i teenus lõppes 31. märtsil 2026. Seed1.5-VL on endiselt oluline ByteDance’i multimodaalsete mudelite arengu mõistmiseks ja ajalooliste võrdlustestide puhul, kuid uued rakendused peaksid kasutama praegu toetatud alternatiivi, sealhulgas ByteDance’i määratud migratsioonieesmärki, mitte kasutuselt kõrvaldatud API-t.