Mis on Gemini Omni Flash?
Gemini Omni Flash on Google DeepMindi multimodaalne mudel, mis keskendub video genereerimisele ja töötlemisele. Selle stabiilne Gemini API identifikaator on gemini-omni-1.1-flash; Google dokumenteerib ka eelvaateidentifikaatori gemini-omni-flash-preview. Praktikas on tegu spetsialiseeritud loovmudeliga: selle peamine väljund on video, mitte tekstivastus, koodilõpetus, pilt ega struktureeritud JSON-objekt.
Mudel toetab dokumenteeritud töövoogudes teksti, piltide ja video kombinatsioone. Kasutaja saab kirjeldada stseeni, anda animeerimiseks staatilise pildi, laadida muutmiseks üles lühikese videoklipi või kasutada varasemat suhtlust tulemuse edasiseks täpsustamiseks. Toetatud genereerimisstsenaariumides võivad loodud klipid sisaldada ka heli.
Milline on selle koht Google'i praeguses mudelivalikus?
Gemini Omni Flash kuulub Google'i Gemini Omni perekonda ja on Google'i praeguses mudelikataloogis suunatud eelkõige videole. Kui üldotstarbeline Gemini mudel valitaks tavaliselt vestluseks, programmeerimiseks, uurimistööks või dokumentide analüüsiks, siis Omni Flash on mõeldud lühikese liikuva pildimaterjali loomiseks ja töötlemiseks.
Nimetus „Flash” on mudeli positsioneerimise seisukohast oluline: kaasasolevas uuringus kirjeldatakse seda kui kiireks video genereerimiseks ja korduvaks loovtööks optimeeritud mudelit. Suurema kiirusega kaasneb kitsam kasutusala. Seda ei esitleta üldise arutlusmudeli, programmeerimisabilise, embeddingu-mudeli, transkribeerimissüsteemi ega eraldiseisva tekst-kõneks mudelina.
Mida mudel suudab teha?
- Tekstist videoks: loob loomulikus keeles kirjelduse põhjal lühikese video, näiteks tooteesitluse või filmiliku stseeni.
- Pildist videoks: animeerib fotot, illustratsiooni, tootepilti või muud staatilist näidist.
- Video töötlemine: rakendab üles laaditud või varem loodud klipile vestluspõhiseid juhiseid.
- Video pikendamine: jätkab klippi, lisades selle lõppu äsja genereeritud sisu.
- Kaadrite interpoleerimine: genereerib ülemineku algus- ja lõpp-pildi vahele.
- Üleskaleerimine: loob suurema eraldusvõimega versioone, sealhulgas 1080p ja 4K väljundeid lisaks 360p ja 720p genereerimisele.
- Vestluspõhine täpsustamine: muudab tulemust mitme suhtlusvooru jooksul, kasutades Interactions API-t ja varasema suhtluse ID-d.
Need võimalused muudavad mudeli kasulikuks töövoos, kus looja alustab esialgsest ideest, hindab lühikest tulemust ja palub seejärel teha sihipäraseid muudatusi. Selline suhtlusmudel on eriti kasulik siis, kui soovitud tulemust on ühe juhisega keeruline täpselt kirjeldada.
Tehnilised näitajad ja toetatud modaalsused
| Spetsifikatsioon | Dokumenteeritud üksikasjad |
|---|---|
| Stabiilse mudeli ID | gemini-omni-1.1-flash |
| Eelvaatemudeli ID | gemini-omni-flash-preview |
| Sisendmodaalsused | Tekst, pilt ja video dokumenteeritud loovtöövoogude jaoks |
| Peamine väljund | Video; loodud klipid võivad sisaldada heli |
| Kontekstiaken | 1,048,576 tokenit |
| Tüüpiline genereerimise pikkus | Ligikaudu 3–10 sekundit genereerimise kohta |
| Pikendatud töövoo pikkus | Toetatud video pikendamise töövoogudes kuni 40 sekundit |
| Eraldusvõimed | 360p, 720p, 1080p ja 4K |
| Kaadrisagedus | 24 kaadrit sekundis |
| API | Gemini API Interactions API |
Suur kontekstiaken on avaldatud spetsifikatsioon, kuid seda ei tohiks tõlgendada garantiina, et kõik sisendikombinatsioonid või videopikkused võetakse vastu ilma muude piiranguteta. Videopõhised piirangud kehtivad endiselt. Näiteks peavad töötlemiseks või pikendamiseks üles laaditud videod üldjuhul olema kuni 10 sekundi pikkused, välja arvatud juhul, kui kasutatakse toetatud mitme vooruga töövoogu.
Hinnakujundus ja API kaudu edastamine
Google'i dokumenteeritud Gemini Omni Flash Preview standardhind on teksti-, pildi-, video- ja helisisendite puhul 1,50 dollarit 1 miljoni sisendtokeni kohta. Väljundi hind on vajaduse korral 9,00 dollarit 1 miljoni teksttokeni kohta või 17,50 dollarit 1 miljoni videoväljundtokeni kohta. Google arvestab 720p videot kiirusega 5 792 väljundtokenit sekundis, mis vastab kaasasoleva hinnateabe põhjal standardhinnastamisel ligikaudu 0,10 dollarile sekundis.
Need tokenipõhised hinnad ei ole sama mis fikseeritud hind ühe videoklipi eest. Videopäringu maksumus sõltub arveldatavate tokenitena esitatud sisendist ja genereeritud väljundist, sealhulgas videoväljundi kestusest ja eraldusvõimest. Hinnad ja mudeli kättesaadavus võivad muutuda, seega peaksid tootmiskasutajad enne suure töövoo maksumuse hindamist kontrollima Google'i praegust hinnakirja.
Interactions API võib tagastada loodud video otse vastuses või URI kaudu. Suuremate failide puhul on soovitatav kasutada URI-edastust. Serveri saadetud sündmuste kaudu toetatakse voogvastuseid ning varasemate suhtluste ID-d võimaldavad vestluse käigus toimuvat redigeerimist.
Arutlusvõime, programmeerimine ja tööriistade tugi
Gemini Omni Flashi tuleks hinnata videogenereerimise mudelina, mitte tavapärase arutlus- või programmeerimismudelina. Kaasasolevas toimetuslikus hinnangus saab see arutlusvõime eest 5 punkti 10-st ja programmeerimise eest 1 punkti 10-st. Need on toimetuslikud hinnangud, mitte Google'i võrdlustestide tulemused ega teenusepakkuja avaldatud reitingud.
Selle arutlusvõime on peamiselt kasulik loovjuhiste tõlgendamisel, soovitud visuaalse suuna säilitamisel ja muudatussoovide rakendamisel. Selles artiklis ei ole seda dokumenteeritud keerukatele analüütilistele küsimustele vastamise, tarkvaraarenduse, embedding'ute, kõne transkribeerimise ega eraldiseisva kõne genereerimise mudelina.
Kaasasolevate mudeliandmete kohaselt puudub sellel tavapärane tööriistade kasutamise või funktsioonikutsete tugi ning struktureeritud väljundi võimalus. Samuti on tekst märgitud peamise väljunditüübina toetamata. Arendajad, kes vajavad usaldusväärseid JSON-vastuseid, funktsioonikutseid või tekstipõhist agenti, peaksid valima nende ülesannete jaoks loodud mudeli, mitte kohandama Omni Flashi videopõhise töövoo ümber.
Tugevused ja kompromissid
Mudeli peamine tugevus on kiiruse ja videopõhise iteratsiooni kombinatsioon. Looja saab liikuda tekstilisest ideest või staatilisest pildist lühikese klipini ning seejärel tulemust vestluspõhiste juhiste abil täpsustada. Video pikendamine, interpoleerimine ja üleskaleerimine lisavad kasulikke toiminguid, mis ei piirdu ühekordse tekstist videoks genereerimisega.
Peamine kompromiss on spetsialiseerumine. Mudeli lühike klipi kestus, 24 kaadrit sekundis väljund, piirkondlikud piirangud ja videole suunatud API muudavad selle sobivamaks kiireks loovproduktsiooniks kui täispika filmi tootmiseks või üldiseks tehisintellekti automatiseerimiseks. Toimetuslik kuluskoor on 6 punkti 10-st ja kiirusskoor 9 punkti 10-st; need on suunamiseks antud subjektiivsed võrdlused, mitte teenusepakkuja mõõtmistulemused.
Olulised piirangud
- Lühikesed lähte- ja väljundklipid: Üksikute genereerimiste pikkus on tavaliselt 3–10 sekundit ning töötlemiseks või pikendamiseks üles laaditud videod peavad üldjuhul olema kuni 10 sekundi pikkused. Toetatud töövoogudes saab loodud sisu pikendada kokku kuni 40 sekundini.
- Pikendamise suund: Video pikendamine lisab sisu klipi lõppu. See ei lisa materjali klipi algusesse ega pikenda jada keskelt.
- Piirkondlik kättesaadavus: Üles laaditud video töötlemisele ja pikendamisele kehtivad piirangud muu hulgas Euroopa Majanduspiirkonnas, Šveitsis ja Ühendkuningriigis.
- Heliviited: Eraldiseisvate heliviidete üleslaadimist praegune API ei toeta. Videoviidetes sisalduvat heli võidakse eirata ning hääle töötlemist ei toetata.
- Piiratud genereerimise juhtimine: Dokumenteeritud API versioonis ei ole süsteemijuhised, temperatuur, top-p, lõpetamisjärjendid ega negatiivse viiba parameetrid eraldi juhitavad.
- Päritolu märgistamine: Loodud videod sisaldavad päritolu kontrollimiseks Google'i nähtamatut SynthID vesimärki.
Heliga seotud eristus on praktikas oluline. Loodud klipid võivad sisaldada heli ning hinnadokumentatsioon loetleb heli sisendikategooriana, kuid see ei tähenda, et mudel toetaks suvalisi eraldiseisvaid heliviiteid või hääle abil juhitavat videotöötlust.
Parimad kasutusjuhud
Gemini Omni Flash sobib hästi kiireks visuaalseks prototüüpimiseks ja lühivormis tootmisülesanneteks, näiteks:
- tootefotode animeerimine reklaamide või sotsiaalmeediapostituste jaoks
- lühikeste turundus- ja reklaamiklippide loomine
- illustratsioonide või ideekunsti muutmine liikuvateks stseenideks
- mitme visuaalse suuna katsetamine enne pikemasse tootmisse investeerimist
- üleminekute genereerimine määratletud algus- ja lõpp-piltide vahel
- lühikese kaadri pikendamine täiendava lõpuosaga
- klipi korduv täpsustamine vestluspõhiste API-suhtluste kaudu
- lühikeste filmilike või visuaalefektide katsetuste loomine
See on eriti sobiv juhul, kui kiirus ja kiire variatsioonide loomine on olulisemad pikast katkematust kestusest, üksikasjalikest madala taseme genereerimisjuhtimistest või tavapärasest tekstivastusest.
Millal valida Gemini Omni Flash?
Vali Gemini Omni Flash siis, kui peamine tulemus on lühike video ja soovid kasutada üht multimodaalset töövoogu genereerimiseks, töötlemiseks, pikendamiseks, interpoleerimiseks ja üleskaleerimiseks. See on mõistlik valik loovmeeskondadele, kes eelistavad tulemusi interaktiivselt täpsustada, selle asemel et kasutada iga videotoimingu jaoks eraldi mudelit.
Kaalu mõnda muud võimalust, kui ülesanne on peamiselt tekstivestlus, programmeerimine, struktureeritud JSON-i genereerimine, funktsioonikutsete kasutamine, transkribeerimine, eraldiseisev kõnesüntees või täispika video tootmine. Üldotstarbeline mudel võib sobida paremini planeerimiseks, stsenaariumide koostamiseks ja tarkvaraülesanneteks, samas kui spetsialiseeritud tootmisvoog võib pakkuda paremat juhtimist pikemate videote, üksikasjaliku helitöötluse või keerukate ajajoonepõhiste tööde puhul.
Kokkuvõttes tuleneb Gemini Omni Flashi väärtus selle kitsast, kuid praktilisest fookusest: kiire ja korduv videoloomine multimodaalse API kaudu. Lühikeste klippide puhul on selle võimalused märkimisväärsed, kuid piiranguid tuleks käsitleda disainipiirangutena, mitte väikeste puudustena.