Mis on Llama 4 Scout?
Llama 4 Scout on avatud kaaludega multimodaalne keelemudel, mille Meta avaldas 5. aprillil 2025. See on loodud vastu võtma teksti ja pilte ning genereerima teksti ja koodi. Juhiste järgi häälestatud versioon on mõeldud assistendilaadseks kasutuseks, sealhulgas visuaalsetele küsimustele vastamiseks, dokumentide analüüsimiseks, programmeerimisabiks, mitmekeelseks suhtluseks ja tööriistapõhisteks töövoogudeks.
Scout kasutab ekspertide segu ehk mixture-of-experts-arhitektuuri. Selle asemel et aktiveerida iga märgi puhul kõik parameetrid, suunab mudel iga märgi spetsialiseerunud närvivõrkude alamhulka, mida nimetatakse ekspertideks. Scoutil on kokku 109 miljardit parameetrit, kuid ühe märgi puhul on aktiivsed ligikaudu 17 miljardit parameetrit ning mudelis on 16 eksperti. Selle hõreda arhitektuuri eesmärk on pakkuda sarnase aktiivse suurusega tihedast mudelist suuremat võimekust, vähendades samal ajal iga märgi töötlemiseks vajalikku arvutusmahtu.
Mudel kuulub Meta Llama 4 perekonda ning seda levitatakse baas- ja juhiste järgi häälestatud kontrollpunktidena. Dokumenteeritud juhiste järgi häälestatud mudeli identifikaator on meta-llama/Llama-4-Scout-17B-16E-Instruct. Meta levitab kaalusid Llama 4 Community License Agreementi alusel. Tegemist on kohandatud litsentsiga, mitte tavapärase avatud lähtekoodiga litsentsiga. Organisatsioonid peaksid enne Scouti äriliselt või suures mahus kasutusele võtmist litsentsi ja lubatud kasutuse nõuded üle vaatama.
Peamine eristav omadus: 10 miljoni märgi pikkune kontekstiaken
Scouti kõige eripärasem tehniline näitaja on 10 miljoni märgi pikkune kontekstiaken. Kontekstiaken näitab teksti, pildiinfo, vestlusajaloo või muu viiba sisu hulka, mida mudel saab ühe suhtluse käigus arvesse võtta. Võrdluseks märgitakse selle mudeli kohta esitatud uurimismaterjalides, et varasemate Llama 3 mudelite konteksti pikkus oli 128 000 märki.
Praktikas saab Scouti kasutada näiteks väga suurte dokumendikogumite uurimiseks, mahukate koodibaaside läbimiseks, mitme pika aruande võrdlemiseks või ebatavaliselt suure vestlus- ja tegevusajaloo säilitamiseks. Samuti toetab see töövooge, kus pildisisu analüüsitakse koos pikkade tekstijuhiste või võrdlusmaterjalidega.
Maksimaalne konteksti pikkus ei tähenda, et iga juurutus töötleks 10 miljonit märki kiiresti või väikeste kuludega. Tegelikku jõudlust mõjutavad mälukasutus, tähelepanuarvutuse teostus, pildimärkide lisakulu, pakktöötlus, kvantimine, riistvara ja teenindustarkvara. Juurutus võib toetada nimipiiri, kuid muutuda selle lähedal siiski aeglaseks või kulukaks. Seetõttu peaksid organisatsioonid pealkirjas esitatud arvu praktilise vaikeväärtusena käsitlemise asemel testima tüüpilisi töökoormusi.
Toetatud sisendid, väljundid ja võimekused
Scout on sisendi poolel loomupäraselt multimodaalne. See toetab mitmekeelset teksti ja pilte ühtse mudeliarhitektuuri kaudu, mitte üksnes eraldiseisva piltide kirjeldamise süsteemi abil. Selle loomupärased väljundid on tekst ja kood; see ei genereeri otse pilte, heli, videot ega kõnet.
- Tekstisisend: Toetatud.
- Pildisisend: Toetatud, sealhulgas visuaalsed küsimused, pildiallkirjad, tuvastamine, dokumendid, diagrammid ja pildil põhinev objektide lokaliseerimine.
- Tekstiväljund: Toetatud.
- Koodiväljund: Toetatud.
- Pildi-, heli-, video-, muusika-, kõne- ja vektorväljund: Esitatud spetsifikatsioonides ei ole neid Scouti loomupäraste väljunditena tuvastatud.
Meta andmetel treeniti Scouti viipadega, mis sisaldasid kuni 48 pilti, ning järeltreeningu ajal testiti seda edukalt kuni kaheksa pildiga. Need arvud kirjeldavad teatatud treeningu- ja hindamistingimusi ega pruugi tähendada universaalset praktilist piirangut iga teeninduslahenduse puhul.
Piltide mõistmine on kasulikuks enamaks kui fotode kirjeldamine. Dokumenteeritud kasutusjuhtude hulka kuuluvad visuaalsetele küsimustele vastamine, diagrammide tõlgendamine, dokumentide mõistmine, piltide tuvastamine, pildiallkirjade loomine ja pildil põhinev objektide lokaliseerimine. Näiteks võib rakendus anda Scoutile skannitud aruande, paluda leida konkreetse joonise ning seejärel küsida diagrammi tekstilist selgitust. Selliste töövoogude kvaliteet sõltub pildi eraldusvõimest, viiba ülesehitusest, eeltöötlusest ja teeninduskeskkonnast.
Arutlemine, programmeerimine ja tööriistade kasutamine
Scouti juhiste järgi häälestatud versioon on mõeldud teksti ja piltide põhjal arutlemiseks, sealhulgas dokumentide, diagrammide ja visuaalsete küsimuste mitmeetapiliseks analüüsimiseks. Meta mudelikaardi järgi on mudelit hinnatud arutlemise, programmeerimise, mitmekeelsuse, piltide mõistmise ja pika konteksti testides. Teatatud tulemused juhiste järgi häälestatud mudeli kohta hõlmavad MMLU-Pro puhul tulemust 74,3, GPQA Diamondi puhul 57,2, LiveCodeBenchi puhul 32,8 ja DocVQA puhul 94,4. Need on teenusepakkuja teatatud võrdlustulemused vastava hindamisseadistuse korral ning neid ei tohiks käsitleda konkreetse rakenduse toimivuse garantiina.
Mudel toetab ka programmeerimisülesandeid, nagu koodi genereerimine, selgitamine ja teisendamine ning koodibaasi uurimine. Ebatavaliselt suur kontekst on eriti oluline siis, kui programmeerimisassistent peab läbi vaatama palju faile või säilitama rohkem projekti konteksti, kui tavapärane kontekstiaken võimaldab. Scout ei muuda siiski automaatselt kogu süsteemi täielikuks tarkvaratehnika lahenduseks. Hoidla indekseerimine, koodi käivitamine, testimine, õigused ja tulemuste kontrollimine jäävad ümbritseva rakenduse ülesandeks.
Scouti juhiste vorming kirjeldab nullnäitega funktsiooni- ja tööriistakutseid. Kui viibas esitatakse funktsioonid, võib mudel luua tööriistakutse avaldise, kuid mudel ise väliseid tööriistu ei käivita. Rakendus peab avaldist tõlgendama, asjakohase teenuse välja kutsuma ja tulemuse mudelile tagastama. Seega toetab Scout tööriistapõhist orkestreerimist, mitte iseseisvat veebisirvimist ega autonoomset tööriistade käivitamist.
Juurutus, mälukasutus ja kulude kompromissid
Meta viitematerjalide kohaselt saab BF16-mudelit käigu pealt int4-ks kvantida ja mahutada ühele 80 GB H100 GPU-le. BF16-juurutus vajab märksa rohkem mälu, samas kui FP8- ja int4-kvantimine võib vähendada mälunõudeid ning tuua kaasa väidetavalt väikese kvaliteedilanguse. Täpne kiirus, läbilaskevõime ja kvaliteedimõju sõltuvad järeldusmootorist, partii suurusest, viiba pikkusest, riistvarast ja kvantimismeetodist.
See juurutusprofiil annab Scoutile majanduslikult teistsuguse struktuuri kui majutatud märgipõhine mudel. Meta ametlik levitusviis on allalaaditavad kaalud ning esitatud uurimismaterjalides ei ole toodud ühtki ametlikku Meta sisend- või väljundmärgi hinda. Käitaja maksab selle asemel taristu, salvestusruumi, arenduse, elektri ja teenindustoimingute eest. Ise majutatud juurutus võib olla atraktiivne, kui olulised on andmete kontroll, kohandamine või suure kasutusmahuga töötlus, kuid samal ajal annab see organisatsioonile ka vastutuse käitamise eest.
17 miljardi aktiivse parameetriga arhitektuur võib vähendada märgi kohta tehtavate arvutuste mahtu võrreldes tiheda 109 miljardi parameetriga mudeliga, kuid kogu mudel nõuab siiski märkimisväärselt mälu ja taristut. Kvantimine võib muuta juurutuse kättesaadavamaks, kuid sellega võivad kaasneda kvaliteedi- või ühilduvuskompromissid. Seetõttu tuleks Scouti hinnata kogu töökoormuse maksumuse, mitte üksnes parameetrite arvu põhjal.
Peamised tugevused ja piirangud
Tugevused
- Väga pikk kontekst: 10 miljoni märgi pikkune kontekstiaken sobib hästi suurte dokumentide, koodibaaside ja mitme dokumendiga töövoogude jaoks.
- Loomupärane piltide mõistmine: Teksti ja pilte saab töödelda koos, et vastata visuaalsetele küsimustele, analüüsida diagramme ja dokumente ning lokaliseerida pildil objekte.
- Avatud kaaludega juurutus: Arendajad saavad mudeli alla laadida ja seda toetatud levituskanalite kaudu käitada, sõltumata ühest kohustuslikust majutatud lõpp-punktist.
- Tõhus hõre arhitektuur: Iga märgi puhul on aktiivsed ainult ligikaudu 17 miljardit mudeli 109 miljardist parameetrist.
- Tööriistapõhine viipamine: Juhiste vorming toetab funktsiooni- ja tööriistakutse avaldisi rakendustes, mis pakuvad oma orkestreerimiskihti.
- Kohandamisvõimalus: Esitatud mudeliandmete kohaselt on mudel saadaval peenhäälestuse töövoogude jaoks, arvestades litsentsi ja tehnilisi nõudeid.
Piirangud
- Ainult tekstiväljund: Scout ei genereeri loomupäraselt pilte, heli, videot ega kõnet.
- Puudub iseseisev sirvimine ja käivitamine: Veebiotsing, välised API-d, koodi käivitamine ja muud toimingud vajavad rakenduskihti.
- Käitamise keerukus: Ise majutamine nõuab sobivat riistvara, kvantimise- või teenindusekspertiisi, seiret ja jõudlustestimist.
- Kontekst ei ole tasuta: Väga pikad viibad võivad suurendada latentsust ja mälukasutust isegi siis, kui need mahuvad esitatud piiridesse.
- Teadmiste lõppkuupäev: Eeltreeninguandmete lõppkuupäev on august 2024. Otsing või välised tööriistad võivad käitamise ajal pakkuda uuemat teavet, kuid ei uuenda alusmudelit.
- Litsents tuleb üle vaadata: Kavandatud juurutuse puhul tuleb kontrollida Llama 4 Community License Agreementi ja lubatud kasutuse nõudeid.
Llama 4 Scouti parimad kasutusjuhud
Scout on tugev kandidaat siis, kui rakendus vajab korraga mitut selle eristavat omadust: pikka konteksti, piltide mõistmist, allalaaditavaid kaalusid ning teksti või koodi genereerimist. Sobivad näited on järgmised:
- Väga suurte dokumendikogumite kokkuvõtete loomine ja nende kohta päringute esitamine.
- Aruannete, skannitud dokumentide, diagrammide ja graafikute analüüsimine.
- Suurte tarkvarahoidlate uurimine või omavahel seotud failide koosülevaatamine.
- Mitmekeelsete teksti ja pilte ühendavate assistentide loomine.
- Visuaalsete klienditoe töövoogude loomine eraldiseisva otsingu- või ärisüsteemikihiga.
- Sünteetiliste andmete genereerimine või dokumentide teisendamine kontrollitud keskkonnas.
- Kohandatud järelduslahenduse juurutamine, kui organisatsioon soovib suuremat kontrolli mudeli majutamise ja andmevoo üle.
Millal seda mudelit valida?
Vali Llama 4 Scout siis, kui 10 miljoni märgi pikkune kontekstiaken on praktiliselt oluline, kui pildisisend on tähtis või kui allalaaditavad kaalud ja enda hallatav juurutus on eelistatavamad kindla majutatud API kasutamisele. See on eriti sobiv pikkade dokumentide ja koodibaaside analüüsimiseks, mille puhul väikeste tekstikatkendite korduv valimine põhjustaks kasuliku konteksti kadumise.
Väiksem või tavapärasem mudel võib olla sobivam siis, kui päringud on lühikesed, latentsus ja taristu lihtsus on konteksti suurusest olulisemad või kui rakendus ei vaja piltide mõistmist. Majutatud mudel võib olla parem valik ka siis, kui meeskond soovib prognoositavat API käitamist ega soovi hallata GPU-sid, kvantimist, skaleerimist ja seiret. Kui peamine vajadus on pildi-, kõne-, video- või vektorväljund, sobib paremini spetsiaalne pildi-, kõne-, video- või vektormudel.
Scouti ei tohiks valida üksnes suure kontekstilimiidi tõttu. Testi seda rakenduse jaoks oluliste dokumentide, piltide, keelte, koodi ja latentsuseesmärkidega. Kõige kasulikum võrdlus ei põhine ainult võrdlustestide tulemustel, vaid hõlmab vastuste kvaliteedi, viiba pikkuse, järelduskulude, juurutuse kontrolli ja arendustöö mahu täielikku kompromissi.
Hind ja kättesaadavus
Llama 4 Scout on Meta ja levituspartnerite, sealhulgas Hugging Face'i kaudu saadaval avatud kaaludena. Esitatud uurimismaterjalides ei ole Meta ametlikku sisendi- ega väljundhinna standardset tariifi tuvastatud, seega ei ole kontrollitud märgipõhist hinda võimalik esitada. Kulud sõltuvad sellest, kuidas kaalusid hangitakse ja käitatakse, sealhulgas riistvarast, majutusest, salvestusruumist, kvantimisest ja käitamisnõuetest.
Kokkuvõttes tuleks Scouti mõista eelkõige pika konteksti ja nägemisvõimekusega avatud kaaludega mudelina, mitte kasutusvalmis multimodaalse meediageneraatori või autonoomse agendina. Hõreda arhitektuuri, piltide mõistmise, tööriistakutsete vormingu ja 10 miljoni märgi pikkuse kontekstiakna kombinatsioon muudab selle eriti asjakohaseks organisatsioonidele, kes loovad oma taristu ümber spetsialiseeritud assistente ja analüüsisüsteeme.