Mis on Amazon Nova Pro?
Amazon Nova Pro on Amazoni pakutav multimodaalne alusmudel, millele pääseb peamiselt ligi Amazon Bedrocki kaudu. Amazon Nova mudeliperes on see tasakaalustatud valik rakendustele, mis vajavad täpsuse, vastusekiiruse, kulude kontrolli ja visuaalse mõistmise kombinatsiooni, mitte mudelit, mis keskendub ainult ühele kitsale võimekusele.
Mudeli ametlik Bedrocki identifikaator on amazon.nova-pro-v1:0. See avaldati 5. detsembril 2024 ning esitatud mudeliandmete kohaselt on see aktiivne. Amazon kirjeldab Nova Prod kui ettevõtete töökoormustele sobivat mudelit, mis hõlmavad teksti, pilte ja videot, sealhulgas assistente, dokumenditöötlussüsteeme, otsinguga täiendatud genereerimist ning agentseid rakendusi.
„Multimodaalne“ viitab mudeli võimele töödelda rohkemat kui ainult teksti. Nova Pro suudab analüüsida pilte ja videot koos kirjalike viipadega, kuid selle loomulik vastusevorming on tekst. Seega on tegu mõistmise ja genereerimise mudeliga, mitte piltide, video, heli või kõne genereerimise mudeliga.
Sisend, väljund ja tehnilised piirangud
Nova Pro aktsepteerib sisendina teksti, pilte ja videot ning tagastab teksti. See muudab mudeli kasulikuks olukordades, kus rakendus vajab visuaalse materjali põhjal selgitust, andmete eraldamist, klassifitseerimist, kokkuvõtet või vastust. Näiteks võib töövoog sisaldada kirjalikku küsimust ja dokumendi pilti või paluda mudelil teha kokkuvõtte toetatud videos sisalduvast teabest.
| Spetsifikatsioon | Amazon Nova Pro |
|---|---|
| Sisendmodaalsused | Tekst, pildid ja video |
| Väljundmodaalsus | Tekst |
| Kontekstiaken | 300 000 tokenit |
| Maksimaalne väljund | 5 000 tokenit |
| Mudeli ID | amazon.nova-pro-v1:0 |
| Teadmiste lõppkuupäev | Oktoober 2024 |
300 000 tokeni suurune kontekstiaken on maksimaalsest vastuse pikkusest märkimisväärselt suurem. Praktikas tähendab see, et mudel suudab ühe päringu raames arvesse võtta suurt hulka lähtematerjali, kuid ei saa ühe vastusega koostada sama pikka väljundit. See on kasulik pikkade dokumentide kokkuvõtete tegemisel, mitme allika võrdlemisel või suurest kontekstist konkreetse teabe eraldamisel, hoides samal ajal vastuse fookuses.
2024. aasta oktoobri teadmiste lõppkuupäev kehtib alusmudeli kohta. Uuemate dokumentide või muu välise konteksti esitamine võib aidata rakendusel kasutada ajakohast teavet, kuid see ei muuda mudeli algset treeningandmete lõppkuupäeva. Nova Pro ei paku alusmudeli osana ka eraldi dokumenteeritud sisseehitatud veebotsingu võimalust; ajakohast teavet vajavad töövood peavad välise teabe rakenduse või ühendatud tööriista kaudu mudelile edastama.
Mida Nova Pro suudab teha
Visuaalse ja dokumendisisu mõistmine
Nova Pro peamine eripära on võime arutleda teksti, piltide ja video üle sama rakenduse piires. See toetab dokumendianalüüsi, visuaalset küsimustele vastamist, sisuanalüüsi ja video mõistmist. Need võimalused on asjakohased töövoogudes, kus esitatakse pildi kohta küsimusi, eraldatakse või võetakse kokku visuaalsetes dokumentides sisalduvat teavet, vaadatakse meediasisu läbi või kombineeritakse kirjalikke juhiseid visuaalsete tõenditega.
Esitatud uuringus määratletakse video mõistmine toetatud võimalusena Amazon Bedrocki päringute ja pakettsisestuse töövoogude kaudu. Mudelit ei tohiks segi ajada video genereerimise süsteemiga: see analüüsib videot ja vastab tekstiga, mitte ei loo uut videot.
Pika konteksti töötlemine
300 000 tokeni suuruse kontekstiaknaga on Nova Pro mõeldud ülesannete jaoks, mille sisend on lühikese kontekstiga mudeli jaoks liiga suur. Võimalikud rakendused hõlmavad pikkade dokumentide kokkuvõtete tegemist, ettevõtte teadmiste analüüsi, mitme lähtifaili võrdlemist ja otsinguga täiendatud genereerimist, kus asjakohased lõigud esitatakse koos kasutaja küsimusega.
Suur kontekstiaken ei taga, et iga detail on võrdselt kasulik või et mudel ei tee kunagi vigu. See annab rakendusele rohkem ruumi asjakohase materjali esitamiseks, kuid viibad peaksid siiski ülesande selgelt määratlema ning eristama autoriteetset lähtesisu juhistest või ebausaldusväärsest tekstist.
Tööriistade kasutamine ja ettevõtete töövood
Nova Pro toetab funktsioonide ja tööriistade kutsumist. Tööriista kutsumine võimaldab mudelil paluda rakenduselt mõne toimingu tegemist, näiteks ärisüsteemist teabe hankimist või määratletud toimingu käivitamist. Väline rakendus vastutab endiselt selle otsustamise eest, kas päring täita, argumentide valideerimise, õiguste jõustamise ja tundlike toimingute käsitlemise eest.
Amazon Bedrock toetab Nova Pro puhul ka vastuste voogedastust, pakettsisestust, viipade vahemällu salvestamist, mudeli kohandamist, ettevarutud läbilaskevõimet, agente, turvapiirdeid ja viipade haldust. Need on mudelit ümbritsevad juurutus- ja töövoovõimalused, mitte täiendavad loomulikud väljundmodaalsused. Need võivad aidata organisatsioonidel luua korratavaid rakendusi, vähendada korduva sisendi töötlemist või hallata suuremahulisi töökoormusi.
Hind ja juurdepääs Amazon Bedrocki kaudu
Nova Pro standardne nõudepõhine hind on 0,80 dollarit 1 miljoni sisendtokeni kohta ja 3,20 dollarit 1 miljoni väljundtokeni kohta. Need on tokenite töötlemise hinnad, mitte korduva tarbijatellimuse tasu. Rakenduse kogumaksumus sõltub edastatava teksti või visuaalse materjali mahust, vastuste pikkusest, päringute sagedusest ja valitud Bedrocki teenusevalikust.
AWS loetleb ka prioriteetse, paindliku, latentsusele optimeeritud, piirkondadeülese ja vahemällu salvestatud sisendi valikuid, mille hind või saadavus võib tavalisest nõudepõhisest järeldamisest erineda. Viipade vahemällu salvestamine võib tõhusat hinda muuta, kui sama suurt sisendkonteksti kasutatakse korduvalt, samal ajal kui piirkondadeülene järeldamine võib mõjutada toimimist ja piirkondlikku suunamist. Organisatsioonid peaksid tootmiskulude hindamisel tutvuma Amazon Bedrocki ajakohase hinnadokumentatsiooniga.
Nova Pro on Amazon Bedrocki kaudu saadaval mitmes AWS-i piirkonnas, kasutades piirkonnasisest mudeli ID-d või toetatud geograafilisi järeldusprofiile. Saadavus, kohandamisvõimalused ja teenuse omadused võivad piirkonniti erineda.
Kohandamis- ja juurutusvõimalused
Esitatud AWS-i dokumentatsioon tuvastab Nova Pro 300 000 tokeni kontekstivariandi peenhäälestuse toe USA idaosa (Põhja-Virginia) piirkonnas. Peenhäälestus võib olla asjakohane siis, kui üldotstarbeline mudel peab spetsialiseeritud valdkonnas või ülesandes käituma järjepidevamalt, kuid sellega kaasnevad täiendavad nõuded andmetele, hindamisele, juhtimisele ja käitamisele.
Nova Prod saab Amazon Bedrockis kasutada ka koos ettevarutud läbilaskevõime, mudeli destilleerimise töövoogude, agentide, turvapiirete ja viipade haldusega. Need valikud vastavad eri vajadustele: prognoositav läbilaskevõime, juurutamise tõhusus, kontrollitud tööriistapõhine käitumine või tsentraliseeritud viipade ja ohutuse haldus. Need ei kõrvalda vajadust hinnata väljundite täpsust, turvalisust ja sobivust kavandatud äriprotsessiga.
Arutlus, programmeerimine, kiirus ja kulude kompromissid
Nova Pro on mõeldud tasakaalustatud mudeliks, mitte spetsiaalselt sügavaks arutluseks või tarkvaraarenduseks loodud süsteemiks. Esitatud toimetuslikud andmed annavad sellele arutluse skooriks 7, programmeerimise skooriks 7, kiiruse skooriks 8 ja kuluskooriks 8. Need on toimetuslikud võrdlevad hinnangud, mitte Amazoni avaldatud skoorid ega standardiseeritud võrdlustestide tulemused.
Praktikas muudab Nova Pro tasakaal rakenduste jaoks sobivaks valikuks mudeli, mis pakub kasulikku arutlus- ja programmeerimisabi koos visuaalsete sisendite, pika konteksti ja suhteliselt tõhusa järeldamisega. Selle 5 000 tokeni suurune väljundipiir võib olla piisav vastuste, kokkuvõtete, struktureeritud andmeväljavõtete ja tööriistaotsuste jaoks, kuid võib piirata ülesandeid, mis nõuavad ühe vastusega väga pikki genereeritud dokumente või mahukat koodi.
Kulueelis sõltub töökoormusest. Suured pildi-, video- või dokumendisisendid võivad tarbida märkimisväärse osa kontekstist isegi siis, kui lõplik vastus on lühike. Viipade vahemällu salvestamine võib olla kasulik, kui rakendus edastab korduvalt samu pikki juhiseid või lähtematerjale. Latentsusele tundlike töökoormuste korral võivad AWS-i saadaolevad teenusetasemed pakkuda erinevaid kompromisse reageerimiskiiruse, hinna ja läbilaskevõime vahel.
Amazon Nova Pro parimad kasutusjuhtumid
- Dokumendianalüüs: suurte teksti- ja visuaaldokumentide kogumite kokkuvõtete tegemine, võrdlemine, klassifitseerimine või nende kohta küsimustele vastamine.
- Visuaalne küsimustele vastamine: piltide kohta küsimustele vastamine, võttes arvesse kirjalikke juhiseid või ümbritsevat konteksti.
- Video mõistmine: toetatud videosisendite analüüsimine ning tekstiliste kirjelduste, vastuste või kokkuvõtete tagastamine.
- Ettevõtte assistendid: pika konteksti põhise arutluse ühendamine otsingu, tööriistakutsete, turvapiirete ja ärisüsteemide integratsiooniga.
- Otsinguga täiendatud genereerimine: asjakohase ettevõttesisu esitamine mudelile ning põhjendatud vastuste või sünteesi küsimine.
- Agentsed töövood: mudelil heakskiidetud funktsioonide seast valiku tegemise võimaldamine, samal ajal kui rakendus kontrollib täitmist ja õigusi.
- Sisu- ja meediaülevaatus: teksti ja visuaalse materjali ulatuslik kontrollimine ning inimestele arusaadavate tulemuste koostamine.
Piirangud ja olukorrad, kus muu valik võib olla parem
Nova Pro kõige olulisem piirang on see, et see toodab ainult teksti. See ei suuda loomupäraselt genereerida pilte, heli, videot, kõnet, muusikat ega manuseid. Rakendus, mis vajab selliseid väljundeid, peab lisaks Nova Prole kasutama mõnd muud mudelit või eraldi teenust.
Mudelil puudub ka eraldi dokumenteeritud sisseehitatud veebotsingu võimalus. Kui rakendus vajab ajakohast veebiteavet, peab see ühendama heakskiidetud otsingu- või otsingutööriista ning edastama tulemused mudelile. 2024. aasta oktoobri teadmiste lõppkuupäev on veel üks põhjus kasutada muutuva teabe puhul väliseid allikaid.
Muu valik võib olla sobivam siis, kui peamine vajadus on spetsialiseeritud pildi- või videogenereerimine, kõneinteraktsioon, manused, äärmiselt pikk genereeritud väljund või teistsugune kompromiss latentsuse ja arutluse sügavuse vahel. Väiksem või rohkem kiirusele keskenduv mudel võib olla eelistatav lihtsa klassifitseerimise või suure hulga lühikeste päringute korral, samas kui spetsialiseeritud arutlus- või programmeerimismudel võib olla parem, kui keerukas mitmeastmeline analüüs või koodi genereerimine on multimodaalsest sisendist ja laiast ettevõtteintegratsioonist olulisem.
Nova Pro on mõistlik valik siis, kui üks mudel peab ühendama teksti genereerimise piltide ja video mõistmise, pika konteksti ning Bedrocki töövoofunktsioonidega. See sobib halvemini olukordades, kus rakenduse määrav nõue on mittetekstiline väljund, alusmudelisse sisseehitatud reaalajas otsing või väga spetsialiseeritud genereerimine.
Üldhinnang
Amazon Nova Pro paikneb Amazoni mudelikataloogis praktiliselt keskmisel positsioonil. Teksti-, pildi- ja videosisendi, 300 000 tokeni suuruse konteksti, tööriistakutsete, kohandamisvõimaluste ja Bedrocki juurutusvalikute kombinatsioon muudab selle sobivaks ettevõtete rakendustele, mis vajavad enamat kui ainult teksti genereerimist. Mudeli kompromiss on sama selge: see tagastab ainult teksti, selle väljundi ülempiir on 5 000 tokenit ning ajakohase veebiteabe ja mittetekstilise genereerimise jaoks on vaja väliseid tööriistu.
Amazon Bedrocki juba kasutavate tiimide jaoks tasub Nova Prod hinnata kui tasakaalustatud multimodaalset alust dokumentide, meedia, otsingu ja tööriistu kasutavate töövoogude jaoks. Selle reklaamitud tokenihinnad ja ulatuslikud juurutusvõimalused võivad muuta selle tootmiskasutuseks atraktiivseks, kuid õige valik sõltub endiselt sisendi mahust, latentsuseesmärkidest, nõutavast väljundmodaalsusest ning rakenduse eeldatavast arutluse tasemest või spetsialiseerumisest.