Mis on Amazon Nova Lite?
Amazon Nova Lite on Amazoni Nova perekonda kuuluv multimodaalne baasmudel, mida pakutakse Amazon Bedrocki kaudu. Multimodaalne tähendab, et mudel suudab töödelda mitut tüüpi sisendit: Nova Lite aktsepteerib teksti, pilte ja videot ning genereerib tekstipõhiseid vastuseid. See on loodud rakenduste jaoks, mis peavad töötlema visuaalset või mahukat teavet suhteliselt väikese kulu ja viivitusega.
Mudel ei ole üldotstarbeline meedia genereerimise süsteem. See ei loo algupäraselt pilte, videot, heli, kõnet ega muusikat. Selle ülesanne on multimodaalsest sisendist aru saada ja sellele vastata – näiteks eraldada dokumendipildilt teavet, vastata videot puudutavale küsimusele, teha visuaalsest materjalist kokkuvõte või valida agendi töövoo käigus väline tööriist.
Ametlik Amazon Bedrocki mudeliidentifikaator on amazon.nova-lite-v1:0. AWS dokumenteerib ka piirkondlikud ja piirkondadeülesed järeldusidentifikaatorid, sealhulgas us.amazon.nova-lite-v1:0 ja eu.amazon.nova-lite-v1:0.
Nova Lite'i koht Amazoni mudelite valikus
Nova Lite kuulub Amazoni baasmudelite kataloogis kulude ja latentsuse suhtes optimeeritud mudelite hulka. AWS tutvustas Nova perekonda eri töökoormuste jaoks mõeldud mudelite rühmana ning Nova Lite on mõeldud suure mahuga multimodaalseks arusaamiseks, mitte maksimaalselt sügavaks arutlemiseks või meedia loomiseks.
Seetõttu erineb see suurest, arutlemisele keskenduvast mudelist. Nova Lite sobib paremini olukordadesse, kus rakendus peab töötlema suurt hulka dokumente, pilte või videoid ning ülesanne on lahendatav lühikese eraldamise, klassifitseerimise, kokkuvõtete tegemise või küsimustele vastamisega. Suurem või rohkem arutlemisele keskenduv mudel võib olla sobivam siis, kui peamine nõue on keerukas mitmeetapiline analüüs, kuigi esitatud dokumentatsioon ei määratle otsest võimekusevõrdlust ühegi konkreetse sõsarmudeliga.
Sisendi, väljundi ja konteksti piirangud
| Tehnilised andmed | Amazon Nova Lite |
|---|---|
| Sisendi tüübid | Tekst, pildid ja video |
| Väljundi tüüp | Ainult tekst |
| Kontekstiaken | 300 000 tokenit |
| Maksimaalne väljund | 5000 tokenit |
| Teadmiste lõpptähtaeg | Oktoober 2024 |
| Mudeli olek | Viidatud AWS-i kataloogis aktiivne |
| Väljalaskekuupäev | 5. detsember 2024 |
300 000 tokeni suurune kontekstiaken annab rakendusele palju ruumi pikkade dokumentide, lehekogumike, vestlusajaloo või hangitud lähtematerjali jaoks. Kontekstipiirang ei ole sama mis vastuse maksimaalne suurus: Nova Lite saab kasutada suurt sisendimahtu, kuid ühe vastusega genereerida kõige rohkem 5000 väljundtokenit.
2024. aasta oktoobri teadmiste lõpptähtaeg kehtib alusmudelile. Alusmudelit ei tohiks käsitleda ajakohaste veebiteadmistega mudelina. Värsket teavet vajavad rakendused peavad pakkuma hangitud materjali või ühendama mudeli sobiva otsingu- või andmesüsteemiga.
Ligipääs Bedrocki kaudu ja rakenduse funktsioonid
Nova Lite on Amazon Bedrocki Invoke- ja Converse-API-de kaudu saadaval. AWS dokumenteerib vastuste voogedastuse, turvapiirded ja kliendipoolse tööriistakutsumise. Voogedastus saadab väljundi osade kaupa nende valmimise järel, mistõttu võib interaktiivne rakendus tunduda kiiremini reageeriv isegi siis, kui täieliku vastuse koostamine võtab kauem aega.
Tööriistakutsumine võimaldab rakendusel kirjeldada väliseid funktsioone, nagu andmebaasiotsing, kalkulaator või äriline töövoog, ning lasta mudelil suhtluse käigus ühe neist valida. Rakendus vastutab endiselt funktsiooni käivitamise ning õiguste, valideerimise ja vigade käsitlemise eest. Seega aitab Nova Lite'i tööriistatugi luua agente, kuid see ei tähenda, et mudel suudaks iseseisvalt teha suvalisi toiminguid.
Toetatud on ka viipade vahemällu salvestamine. AWS dokumenteerib selgesõnalised vahemälu kontrollpunktid, kontrollpunkti minimaalseks suuruseks 1000 tokenit, kuni neli kontrollpunkti päringu kohta ning toetatud viieminutilise säilitusaja. Vahemällu salvestamine võib olla kasulik siis, kui samu pikki juhiseid, lähtematerjale või süsteemikonteksti kasutatakse mitmes päringus.
Abikõlblike töökoormuste jaoks on saadaval pakkjäreldus. Pakktöötlus sobib paremini mitteinteraktiivsete ülesannete, näiteks suuremahulise klassifitseerimise, eraldamise või kokkuvõtete tegemise jaoks kui rakendustele, kus kasutaja ootab kohest vastust.
Esitatud dokumentatsioonis ei ole Nova Lite'i puhul struktureeritud väljundeid toetatuna loetletud. Rakendused, mis vajavad rangeid JSON-skeeme, peaksid vastust väliselt valideerima või kasutama rakenduse tasandil piiranguid ja uuesti proovimise strateegiat, mitte eeldama, et iga vastus vastab täpselt skeemile.
Hinnakujundus ja kulupositsioon
Viidatud standardne tellimuseta kasutuse hind on ligikaudu 0,06 dollarit miljoni sisendtokeni kohta ja 0,24 dollarit miljoni väljundtokeni kohta. Need on tokenipõhised hinnad, mitte abonementtasu, ning tegelikud kulud võivad erineda sõltuvalt AWS-i piirkonnast, järeldusrežiimist, teenusetasemest ja tulevastest hinnamuudatustest.
Sisend- ja väljundtokeneid hinnastatakse eraldi. Töökoormuse, mis saadab suuri dokumente, kuid küsib lühikesi eraldamistulemusi, kuluprofiil erineb töökoormusest, mis genereerib pikki aruandeid. Viipade vahemällu salvestamine ja pakktöötlus võivad teatud töökoormuste puhul kasulikud olla, kuid arendajad peaksid enne tootmiskulude hindamist kontrollima AWS-i praegust hinnakirja ja valitud Bedrocki konfiguratsiooni.
Nova Lite'i praktiline eelis seisneb madala loetletud tokenihinna ja kiire töö kombinatsioonis. Kompromiss seisneb selles, et odavam ja kiirem mudel võib olla vähem sobiv nõudlikuks arutlemiseks või ülesanneteks, kus üksiku vea hind on kõrge. Seetõttu tuleks kulusid hinnata koos täpsuse, ülevaatamisvajaduse ja ülesande keerukusega.
Sobivus arutlemiseks ja programmeerimiseks
AWS ei dokumenteeri Nova Lite'i jaoks täiustatud arutlusrežiimi ega reguleeritavaid arutlusparameetreid. Mudel suudab analüüsida talle antud teavet, järgida juhiseid, teha materjalist kokkuvõtteid ja valida tööriistu, kuid seda ei tohiks automaatselt käsitleda keerukale ja pika horisondiga arutlemisele spetsialiseerunud mudelina.
Seda saab kasutada tarkvaratöövoogudes näiteks tehniliste dokumentide lugemiseks, väljade eraldamiseks, pöördumiste klassifitseerimiseks, teksti genereerimiseks või väliste funktsioonide koordineerimiseks. Esitatud uurimus ei tõenda siiski spetsiaalset programmeerimisspetsialiseerumist ega võrdluskatsetel põhinevat eelist. Keeruka tarkvaraarenduse, keerulise silumise või ulatuslikku mitmeetapilist planeerimist nõudvate ülesannete jaoks võib sobivam olla rohkem arutlemisele või programmeerimisele keskenduv valik.
Andmebaasi sisemine toimetuslik hinnang annab Nova Lite'i arutlemis- ja programmeerimisvõimekusele hindeks 5 punkti 10-st, kuid need on võrdlevad toimetuslikud hinded, mitte AWS-i avaldatud võrdlustestide tulemused või tehnilised näitajad. Kindlam järeldus on, et Nova Lite on optimeeritud tõhusaks multimodaalsest sisendist arusaamiseks, mitte maksimaalselt sügavaks arutlemiseks.
Nova Lite'i parimad kasutusjuhud
- Dokumendianalüüs: eraldada välju, vastata pikki dokumente puudutavatele küsimustele või teha tekstina või piltidena esitatud lehekülgedest kokkuvõtteid.
- Visuaalsetele küsimustele vastamine: vastata objekte, paigutusi, graafikuid või muud visuaalset sisu puudutavatele küsimustele.
- Videost arusaamine: teha videomaterjalist kokkuvõte või tuvastada esitatud küsimusega seotud teavet.
- Suuremahuline klassifitseerimine: liigitada dokumente, tugipäringuid, pilte või muid multimodaalseid kirjeid.
- Otsinguga täiendatud genereerimine: ühendada hangitud ettevõtte- või valdkonnateave mudeli võimega tõlgendada teksti ja visuaalset sisendit.
- Klienditeeninduse assistendid: koostada tekstivastuseid, kasutades samal ajal konto-, laoseisu- või töövooteabe jaoks väliseid tööriistu.
- Interaktiivsed agendid: edastada vastuseid voona ja valida rakenduse pakutavaid funktsioone, kui ülesanne nõuab väliseid andmeid või toiminguid.
- Peenhäälestatud valdkonnarakendused: kasutada juhendatud kohandamist siis, kui ühtlane käitumine või spetsialiseeritud multimodaalsed vastused on olulisemad kui muutuvate faktide lihtsalt lisamine.
Peenhäälestus võib aidata kujundada vastuste stiili, valdkonnakohast käitumist ja spetsialiseeritud ülesannete täitmist. See ei asenda otsingut siis, kui eesmärk on esitada sageli muutuvat faktiteavet; rakenduse antud kontekst või otsingu abil hangitud teave sobib selle probleemi lahendamiseks üldjuhul paremini.
Piirangud ja olukorrad, kus mõni muu valik võib olla parem
Nova Lite'i kõige olulisem piirang on see, et see mõistab meediat, kuid ei genereeri seda. See ei ole õige valik teksti põhjal piltide või videote loomiseks, kõnesünteesiks, muusika genereerimiseks ega muudeks algupärasteks meedia loomise ülesanneteks. Samuti ei ole see embedding-mudel, mistõttu vektor-esitusi sarnasuspõhiseks otsinguks vajavad rakendused eraldi embedding-lahendust.
5000-tokenine väljundipiirang võib olla kitsendav rakendustele, mis eeldavad ühe vastusena väga pikki aruandeid. Dokumenteeritud struktureeritud väljundi toe puudumine on veel üks piirang töövoogudele, mis nõuavad garanteeritud skeemile vastavust. Väline valideerimine võib seda probleemi vähendada, kuid muudab rakenduse keerukamaks.
Samuti ei tohiks eeldada, et Nova Lite'il on sisseehitatud veebiotsing või ajakohastel andmetel põhinev teabestamine. Värske teabe saamiseks ühendage mudel otsingu- või hankekihiga ning edastage saadud materjal mudelile. Kättesaadavus piirkonniti, kvoodid, hinnad ja elutsükli üksikasjad võivad Bedrocki konfiguratsioonide vahel samuti erineda.
Valige Nova Lite siis, kui peamine nõue on teksti, piltide või video säästlik ja kiire töötlemine suures mahus. Kaaluge suuremat või rohkem arutlemisele keskenduvat mudelit, kui ülesanne sõltub keerukast mitmeetapilisest järeldamisest, keerukast programmeerimisest või suuremast lubatud viivitusest ja kulust sügavama analüüsi nimel. Valige meediat genereeriv mudel siis, kui soovitud väljund on teksti selgituse asemel pilt, video või helifail.
Kättesaadavus ja elutsükkel
Amazon Nova Lite käivitati 5. detsembril 2024 ning seda nimetatakse viidatud Amazon Bedrocki dokumentatsioonis aktiivseks. AWS märgib, et selle kasutusea lõppkuupäev ei ole varasem kui 5. detsember 2025, kuid esitatud uurimus ei anna konkreetse mudeli täpset sulgemiskuupäeva.
Pikaajalist juurutust kavandavad meeskonnad peaksid enne tootmises kasutuselevõttu kontrollima AWS-i praegust mudelikataloogi, piirkondlikku juurdepääsu, kvoote, hinnakujundust ja elutsükliteateid. Mudeli kättesaadavus võib muutuda ka siis, kui mudeliidentifikaator ja üldised võimekused jäävad tuttavaks.
Kokkuvõte
Amazon Nova Lite'i tuleks kõige paremini mõista kui tõhusat multimodaalset lugejat ja agendikomponenti. See aktsepteerib teksti, pilte ja videot, toetab väga suurt kontekstiakent ning lisab praktilised Bedrocki funktsioonid, nagu voogedastus, tööriistakutsumine, vahemällu salvestamine, pakkjuurdepääs ja peenhäälestus. Madal tokenihind muudab selle suuremahulise analüüsi jaoks atraktiivseks, kuid see ei asenda arutlemisele spetsialiseerunud mudelit, programmeerimismudelit, embedding-mudelit ega meedia genereerimise süsteemi.