Amazon Nova Micro

Mis on Amazon Nova Micro?

Amazon Nova Micro on Amazoni pakutav ainult teksti töötlev alusmudel, mida tarnitakse Amazon Bedrocki kaudu. Selle eesmärk on lihtne: töödelda rutiinseid keeletöötlusülesandeid kiiresti ja väikeste kuludega. Mudel suudab teksti lugeda ja teksti genereerida, mistõttu sobib see suure hulga sisendite teisendamiseks, liigitamiseks, kokkuvõtmiseks või neist teabe eraldamiseks.

Bedrocki kanooniline mudelitunnus on amazon.nova-micro-v1:0. See kuulub Amazon Nova mudelite perekonda, kuid on positsioneeritud teisiti kui suuremad mudelid, mis on mõeldud keerukamaks arutlemiseks, nõudlikumaks programmeerimiseks või multimodaalseks töötluseks. Nova Micro eelistab maksimaalsete võimete asemel suurt läbilaskevõimet, väikest latentsust ja madalat hinda.

Selline positsioneerimine muudab selle kasulikuks tootmisrakenduse komponendina. Näiteks saab see tugipiletid enne nende suunamist liigitada, saabuvatest dokumentidest välju eraldada, vestlusi kokku võtta, teksti tõlkida või korduma kippuvale küsimusele esmase vastuse anda. Selliste ülesannete puhul on üldjuhul kiirus ja prognoositav kasutuskulu olulisemad kui mudeli võimalikult laialdased võimed.

Amazon Nova Micro spetsifikatsioonid

128 000 tokeni suurune kontekstiaken näitab kombineeritud sisendteabe hulka, mida mudel saab päringu puhul arvesse võtta, arvestades konkreetse päringu ja teenuse piiranguid. Väljundi 5 000 tokeni suurune maksimum piirab teksti hulka, mida mudel ühe vastusega genereerida saab. Need piirangud muudavad mudeli sobivaks pikkade sisendtekstide ja mahukate kokkuvõtete jaoks, kuid suurem kontekstiaken ei tähenda automaatselt, et mudel suudab kõiki üksikasju sama hästi analüüsida.

Ainult teksti sisend ja väljund

Nova Micro võtab vastu teksti ja tagastab teksti. See ei toeta algupäraselt pilte, heli ega videot ning ei genereeri pilte, heli, kõnet ega videot. Samuti ei ole see embeddingu-mudel. See on praktiliselt oluline erinevus: rakendus, mis vajab piltide otsest mõistmist, kõnetöötlust või visuaalse sisu genereerimist, peab kasutama teist mudelit või lisama Nova Micro ümber eraldi teenused.

Ainult tekstil põhinev ülesehitus on samuti osa mudeli hinna- ja kiiruse-eelisest. Töövoog, mis peab üksnes teksti liigitama või tekstist väärtusi eraldama, ei pea kandma multimodaalse töötlusega kaasnevat keerukust ega latentsust. Seevastu pildi või salvestise esmalt tekstiks teisendamine lisaks veel ühe töötlusetapi ega annaks Nova Microle algupärast juurdepääsu algsele andmevormile.

Võimalused ja rakenduse funktsioonid

AWS kirjeldab Nova Micro puhul Amazon Bedrocki kaudu vastuse voogedastust, turvapiirdeid, kliendipoolset tööriistakutset ja viipade vahemällu salvestamist. Voogedastus võimaldab rakendusel saada vastuse osi nende genereerimise ajal, selle asemel et oodata tervikliku vastuse valmimist. See võib vestlus- või interaktiivsetes kasutajaliidestes parandada tajutavat reageerimiskiirust, kuigi ei suurenda mudeli tegelikku arutlusvõimet.

Kliendipoolne tööriistakutse

Nova Micro toetab kliendipoolset tööriistakutset. Sellise lahenduse puhul kirjeldab rakendus saadaolevaid funktsioone, mudel võib üht neist taotleda ja rakendus teostab soovitud toimingu. Mudel ei sirvi iseseisvalt veebi ega vii väliseid toiminguid omal käel lõpule. Teie tarkvara vastutab endiselt päringu valideerimise, tööriista käivitamise ja kinnituse vajalikkuse otsustamise eest.

See võib olla kasulik kitsalt piiritletud toimingute puhul, näiteks tellimuse andmete vaatamisel, siseandmebaasi päringu tegemisel või päringu liigitamisel enne selle teise süsteemi saatmist. Tööriistakutset ei tohiks segi ajada algupärase veebiotsinguga ning täpselt selle mudeli puhul ei ole veebiotsingu tuge dokumenteeritud.

Viipade vahemällu salvestamine

Viipade vahemällu salvestamine on kasulik siis, kui samu juhiseid või sõnumisisu kasutatakse paljudes päringutes korduvalt. AWS kirjeldab süsteemi- ja sõnumisisus kasutatavaid vahemälu kontrollpunkte, mille minimaalne suurus on 1 000 tokenit kontrollpunkti kohta ja mille arv ühe päringu kohta võib olla kuni neli. AWS märgib ka, et Amazon Nova mudelid toetavad viipade vahemällu salvestamisel maksimaalselt 20 000 tokenit.

Näiteks võib pika ja püsiva juhistekogumi või korduvalt kasutatava lähtematerjaliga rakendus saada seda sisu taaskasutada, selle asemel et töödelda seda iga kord täiesti uue kontekstina. Tegelik kasu sõltub päringumustrist, piirkonnast ja kohaldatavast Bedrocki hinnast, mistõttu tuleks vahemällu salvestamist hinnata rakenduse tegeliku liikluse põhjal.

Peenhäälestus ja pakktöötlus

AWS loetleb Nova Micro Amazon Bedrockis peenhäälestuseks sobiva mudelina. Peenhäälestuse abil saab mudelit sobiva treeningandmestiku abil kohandada konkreetse ülesande või väljundimustri jaoks, kuid see ei muuda mudelit multimodaalseks süsteemiks ega taga rangelt struktureeritud väljundit.

Baasmudel on loetletud ka pakktöötluse jaoks. Pakktöötlus on mõeldud asünkroonseks töötlemiseks: rakendus saadab palju viipasid ning sisendid ja väljundid salvestatakse Amazon S3 kaudu. See sobib paremini näiteks öiseks dokumentide töötlemiseks või suuremahulise ajaloolise liigitamise jaoks kui interaktiivse päringu puhul, mis vajab kohest vastust.

Arutlemise ja programmeerimise positsioon

Amazon Nova Microst on kõige õigem mõelda kui kergest keelemudelist, mitte kui spetsialiseeritud arutlusmudelist. Esitatud hindamisandmete järgi on selle arutlemise skoor 4 punkti 10-st ja programmeerimise skoor 5 punkti 10-st; need on toimetuse või kataloogi hinnangud, mitte Amazoni avaldatud skoorid ega standardiseeritud võrdlustestide tulemused.

Praktikas võib Nova Micro sobida lihtsateks teisendusteks, kitsalt määratletud tekstist SQL-i ülesanneteks, suunamisloogikaks, teabe eraldamiseks ja tavapäraseks programmeerimisega seotud teksti genereerimiseks. See sobib halvemini ülesanneteks, mis eeldavad pikaajalist mitmeastmelist arutlemist, keerukat silumist, tarkvara keerukat arhitektuuri või väga usaldusväärseid vastuseid mitmetimõistetavatele küsimustele. Selliste töökoormuste puhul võib suurem arutlemisele keskenduv või võimekam mudel õigustada oma suuremat hinda ja latentsust.

Hind ja väärtus

Ülevaadatud standardne tellimusepõhine hind on 0,035 dollarit 1 miljoni sisendtokeni ja 0,14 dollarit 1 miljoni väljundtokeni kohta. Sisendit ja väljundit hinnastatakse eraldi ning nende tariifide puhul maksab genereeritud tekst tokeni kohta rohkem kui sisendtekst. Tegelikud tasud võivad piirkonna, järeldusteenuse taseme või töökoormuse tüübi järgi erineda, seega tuleks enne juurutamist AWS-i hinnakirja kontrollida.

Nende tariifide juures on Nova Micro mõeldud suure mahuga rakendustele, kus ka väikesed säästud päringu kohta on olulised. Näiteks paljude lühikeste kirjete liigitamisel võib olla madalale hinnale optimeeritud mudelist rohkem kasu kui suuremast mudelist, mis annab põhjalikumaid vastuseid. Voogedastus, vahemällu salvestamine ja pakktöötlus pakuvad töökoormuse teenusega sobitamiseks lisavõimalusi: voogedastus interaktiivse reageerimiskiiruse jaoks, vahemälu korduva konteksti jaoks ja pakktöötlus asünkroonse suure mahu jaoks.

Kompromiss seisneb võimekuses. Madal tokenihind ei muuda Nova Microt iga ülesande jaoks parimaks valikuks. Kui päring nõuab piltide tõlgendamist, meedia genereerimist, keerukate probleemide lahendamist või usaldusväärselt piiratud JSON-i loomist, võib sobivamale mudelile ülemineku kulu olla väiksem kui Nova Micro piirangute kompenseerimine rakendusekoodis.

Nova Micro parimad kasutusjuhud

• Teksti liigitamine ja suunamine: märgistage tugipäringuid, sortige dokumente või suunake saabuv sisu sobivasse töövoogu.
• Kokkuvõtete loomine: koostage tekstidokumentidest, vestlustest või kliendisuhtlusest lühikesi kokkuvõtteid.
• Tõlkimine ja ümberkirjutamine: teisendage teksti keelte, vormingute või kirjutamisstiilide vahel.
• Teabe eraldamine: tuvastage struktureerimata tekstist nimesid, kuupäevi, kategooriaid või muid välju.
• Automatiseeritud KKK-d: vastake kitsalt piiritletud tekstipõhistele küsimustele, mille puhul on oluline väike latentsus ja madal hind.
• Kerge otsinguga täiendatud genereerimine: kasutage hangitud teksti lihtsate vastuste kontekstina.
• Tekstist SQL-i ja spetsialiseeritud teisendused: lahendage kitsalt määratletud ülesandeid, eriti siis, kui kohandamine on asjakohane.
• Suure mahuga asünkroonne töötlemine: töödelge suuri andmekogumeid Bedrocki pakktöötluse abil.

Piirangud, millega arvestada

• Sellel puudub algupärane pildi-, heli- ja videosisendi tugi.
• Sellel puudub algupärane pildi-, heli-, kõne- ja videoväljundi tugi.
• See ei ole embeddingu-mudel.
• Struktureeritud väljundit ei toetata dokumentatsiooni kohaselt.
• Eraldi algupärast JSON-režiimi tuge ei õnnestunud ülevaadatud dokumentatsiooni põhjal kinnitada.
• Täpselt selle mudeli puhul ei ole veebiotsingu tuge dokumenteeritud.
• See sobib nõudlikuks arutlemiseks, keerukaks programmeerimiseks ja raskeks analüüsiks halvemini kui suuremad mudelid.
• Piirkondlik kättesaadavus ja järeldusprofiilide tugi sõltuvad AWS-i piirkonnast ja konto konfiguratsioonist.

Struktureeritud väljundi piirang väärib tootmissüsteemides erilist tähelepanu. Nova Microle võib anda juhise vormindada vastus JSON-ina, kuid ülevaadatud uurimus ei kinnita, et see suudab JSON Schema piirangut jõustada. Rakendused, mis vajavad masinvalideeritavat väljundit, peaksid lisama oma valideerimis- ja veakäsitluskihi või valima mudeli, mille struktureeritud väljundi tugi on kinnitatud.

Millal valida Amazon Nova Micro?

Valige Nova Micro siis, kui ülesanne on peamiselt tekstipõhine, juhised on piisavalt selgelt määratletud ning rakendus vajab väikest latentsust või ökonoomset suuremahulist töötlemist. See on eriti atraktiivne töövoogudes, kus sama tüüpi toimingut korratakse, näiteks liigitamisel, teabe eraldamisel, kokkuvõtete loomisel või suunamisel.

See ei pruugi olla õige valik siis, kui kvaliteet sõltub sügavast arutlemisest, visuaalse või helisisu mõistmisest, meedia genereerimisest, rangelt skeemiga piiratud vastustest või keerukast programmeerimisest. Sellistel juhtudel võib sobivam olla suurem Amazon Nova mudel või mõni muu spetsialiseeritud lahendus. Esitatud uurimus nimetab võimalike alternatiividena konkreetselt Nova Pro mudelit ja uuemaid Nova 2 mudeleid, kui keerukas arutlemine, nõudlik programmeerimine, pika vormiga genereerimine või multimodaalne sisend on olulisem kui minimaalne hind ja latentsus.

Mõistlik arhitektuur võib kasutada ka Nova Microt valikuliselt. Rakendus võib saata tavapärased ja väikese riskiga päringud Nova Microle ning suunata mitmetimõistetavad või keerukad juhtumid võimekamale mudelile. Nii säilivad mudeli hinna- ja kiiruse-eelised, ilma et seda käsitletaks suuremate süsteemide universaalse asendusena.

Kättesaadavus ja juurdepääs Bedrocki kaudu

Nova Micro on Amazon Bedrocki kaudu kättesaadav regioonisisese mudeli ID-ga amazon.nova-micro-v1:0. AWS dokumenteerib ka USA ja Euroopa geograafilised järeldustunnused, sealhulgas us.amazon.nova-micro-v1:0 ja eu.amazon.nova-micro-v1:0. Toetatud Bedrocki liidesed on Invoke, Converse, InvokeModelWithResponseStream ja ConverseStream; AWS soovitab uute rakenduste puhul kasutada Bedrock Runtime'i lõpp-punkti.

AWS-i praegusel mudelilehel on Nova Micro märgitud aktiivseks. Ülevaadatud elutsükli metaandmed sisaldavad siiski vanemat kasutusea lõpu sõnastust, mis pärineb ajast enne AWS-i 2026. aasta septembris toimuvat elutsüklipoliitika üleminekut. Ülevaadatud mudelipõhisest dokumentatsioonist ei õnnestunud kindlat täpset sulgemiskuupäeva tuvastada, mistõttu peaksid seda juurutavad meeskonnad jälgima AWS-i praegust mudelikaarti ja piirkondliku kättesaadavuse teavet.