Mida SAM 3.1 teeb
SAM 3.1 on Meta spetsialiseeritud arvutinägemismudel, mis leiab, piiritleb ja jälgib piltidel ning videotes olevaid objekte. Selle asemel et koostada vestluslikku vastust või luua uut pilti, analüüsib see visuaalset sisendit ja tagastab struktureeritud tajutulemused, näiteks objektide asukohad, pikslitaseme maskid, usaldusskoorid ja jälgitavad identiteedid.
Mudel toetab avatud sõnavaraga kontseptide segmenteerimist. See tähendab, et mudel ei piirdu väikese, kindlaks määratud kategooriate loendiga, näiteks „kass” või „auto”. Kasutaja võib anda lühikese tekstilise viipe, näiteks „inimene”, „punane auto” või „kõvakaaneline raamat”, ning SAM 3.1 proovib leida neile vastavad objektid. Samuti saab kasutada visuaalseid viipeid, sealhulgas punkte, piirdekaste, maske ning näidispilte või -piirkondi.
Video puhul suudab mudel objektimaskid kaadrite vahel edasi kanda, säilitades samal ajal objektide identiteedid. See muudab mudeli sobivaks rakendustele, kus oluline pole ainult see, kus objekt ühes kaadris asub, vaid ka see, kuidas see objekt kogu järjestuse jooksul liigub.
SAM 3.1 koht Meta mudelite valikus
SAM 3.1 kuulub Meta Segment Anythingi mudeliperre ja on mõeldud tajumudeliks, mitte üldotstarbeliseks keelemudeliks. Meta praegused tehisintellektitooted kasutavad või mainivad ka teisi mudeliperesid, sealhulgas tarbijatele mõeldud assistendikogemuste jaoks loodud Muse’i perekonna süsteeme ning arendajatele suunatud avatud mudeleid Llama. Need kuuluvad aga teistsugustesse tehnoloogiakategooriatesse. SAM 3.1 on mõeldud visuaalsete stseenide tõlgendamiseks, mitte üldise vestluse pidamiseks, pikkade tekstide kirjutamiseks või universaalse programmeerimisassistendina tegutsemiseks.
Meta avaldas SAM 3.1 27. märtsil 2026. See on saadaval Meta Model API kaudu ning välja antud uurimismudelite kontrollpunktidena, mis on seotud Meta ametliku SAM 3 hoidla ja mudelihoidlatega. Uurimisimplementatsioon kirjeldab 848 miljoni parameetriga SAM 3 arhitektuuri, samas kui SAM 3.1 väljalase lisab täiustusi mitme objekti videotöötluseks.
Miks Object Multiplex on video puhul oluline
SAM 3.1 peamine täiustus on Object Multiplex. Varasemas SAM 3 videotöötluses käsitleti jälgitavaid objekte ükshaaval, mistõttu suurenes arvutuskoormus ligikaudu lineaarselt koos objektide arvu kasvuga. Paljude jälgitavate objektidega stseen võis seetõttu muutuda järjest kulukamaks või aeglasemaks.
Object Multiplex rühmitab objektid ühise töötluse rühmadesse ja töötleb neid ühiselt, kasutades jagatud mälu. Praktiline eesmärk on töödelda tihedalt täidetud stseene tõhusamalt, ilma et iga objekti jaoks tuleks kasutada täiesti eraldi arvutusteed.
Meta andmetel saavutatakse ühe H100 GPU-ga 128 jälgitava objekti korral ligikaudu seitsmekordne kiiruse kasv võrreldes 2025. aasta novembris avaldatud SAM 3 versiooniga. Tegemist on teenusepakkuja esitatud tulemusega, mitte sõltumatu hindamisega, ning jõudlus sõltub riistvarast, video omadustest, viipe tüübist ja implementatsioonist. Sellest hoolimata toob see esile mudeli kõige olulisema kasutuseelise: paljude objektide tihe jälgimine on keskne põhjus eelistada SAM 3.1 lihtsamale ühe objekti segmenteerimise töövoole.
Sisendid ja väljundid
SAM 3.1 võtab vastu pilte ja videoid koos teksti- või visuaalsete viipadega. Visuaalne suhtlus võib hõlmata punkte, piirdekaste, maske ja näidistel põhinevaid viipeid. Kõige loomulikumad tekstisisendid on lühikesed nimisõnafraasid; kaasasolev uurimismaterjal ei kinnita, et mudel oleks loodud pikkade ja keerukat keelelist arutlemist nõudvate juhiste jaoks.
Selle väljundid hõlmavad järgmist:
- Objektituvastused ja piirde kastid.
- Pikslitaseme segmenteerimismaskid, mis näitavad, millised pikslid kuuluvad igale objektile.
- Tuvastuste või segmenteerimistulemuste usaldusskoorid.
- Video jälgimistulemused, sealhulgas kaadrite vahel edasi kantavad objektide identiteedid.
- Struktureeritud visuaalse taju andmed, mis sobivad järgnevatesse arvutinägemise töötlusvoogudesse.
„Pildi väljund” tähendab selles kontekstis maske ja nendega seotud visuaalseid märkusi, mitte sünteesitud pilte. SAM 3.1 ei loo tavalist teksti, heli, muusikat ega videofaile. Videovormingus sisendi korral toodab see videoanalüüsi tulemusi, kuid ei ole videote genereerimise mudel.
Tehnilised andmed ja avaldamata piirangud
| Näitajad | Kinnitatud teave |
|---|---|
| Teenusepakkuja | Meta |
| Mudelipere | Segment Anything |
| Mudeli tüüp | Arvutinägemisel põhinev tuvastus, segmenteerimine ja jälgimine |
| Väljalaskekuupäev | 27. märts 2026 |
| Teave parameetrite kohta | Ametlik uurimisimplementatsioon kirjeldab 848 miljoni parameetriga SAM 3 arhitektuuri |
| Pildisisend | Toetatud |
| Videosisend | Toetatud |
| Tekstiviiped | Toetatud |
| Visuaalsed viiped | Toetatud on punktid, kastid, maskid ja näidised |
| Konteksti pikkus | Esitatud dokumentatsioonis avaldamata |
| Väljundi maksimaalne tokenite arv | Ei kohaldu või pole avaldatud; tegemist ei ole teksti genereeriva mudeliga |
| Tööriistade ja funktsioonide kutsumine | Ei ole kinnitatud; mudelile pääsetakse ligi tajusüsteemina, mitte tööriistu kasutava assistendina |
Esitatud uurimismaterjal ei täpsusta kindlat kontekstiakent, väljundtokenite maksimaalset arvu, voogedastuse spetsifikatsiooni, vahemällu salvestamise funktsiooni ega pakett-API-t. Need puuduvad andmed on olulised arendajatele, kes kavandavad integratsiooni: SAM 3.1 ei tohiks hinnata samade piirangute alusel, mida tavaliselt kasutatakse vestlusmudelite puhul.
Hinnakujundus ja juurdepääs
Majutatud Meta Model API hinnakiri on 2,50 dollarit 1000 pildi kohta ja 0,20 dollarit 1000 videokaadri kohta. Tegemist on kasutuspõhise hinnastusega, mitte korduva tellimusega, ning esitatud teave ei näita eraldi väljundtokenite tasu.
Pildi- ja videokulusid tuleks hinnata erinevalt. Pilditöötluse puhul on oluline ühik esitatud piltide arv. Video puhul võib töödeldud kaadrite arv kiiresti kasvada: pikk või suure kaadrisagedusega video võib sisaldada palju rohkem tasustatavaid ühikuid kui lühike klipp. Seetõttu peaks tootmisvoog otsustama, kas töödelda on vaja iga kaadrit, ning enne kulude hindamist eeldatava kaadrite mahu välja arvutama.
Saadaval on ka isemajutatud kasutus välja antud kontrollpunktide ja ametliku uurimiskoodi kaudu. Hoidla paigaldusnõuete hulgas on Python 3.12 või uuem, PyTorch 2.7 või uuem ning CUDA 12.6 või uuem. Kontrollpunktidele juurdepääs võib nõuda autentimist ja seotud mudelihoidla kaudu saadud heakskiitu. Isemajutus annab suurema kontrolli andmete ja käivitamise üle, kuid tähendab, et kasutaja vastutab GPU-võimsuse, tarkvara ühilduvuse, juurutamise ja jõudluse häälestamise eest.
Tugevused ja piirangud
Milles SAM 3.1 on tugev
- Avatud sõnavaraga viiped: kasutajad saavad sihtkontseptsioone kirjeldada, selle asemel et tugineda ainult kindlale klassiloendile.
- Üksikasjalikud piirjooned: pikslitaseme maskid on ristkülikukujulistest tuvastustest kasulikumad, kui oluline on objekti kuju, kattuvus või täpne pindala.
- Mitut tüüpi viiped: tekst, punktid, kastid, maskid ja visuaalsed näidised toetavad nii automaatseid kui ka interaktiivseid töövooge.
- Objektide identiteetide jälgimine videos: mudel suudab jälgida objekte kaadrite vahel, selle asemel et käsitleda iga kaadrit teistest sõltumatuna.
- Tõhusus tihedates stseenides: Object Multiplex on spetsiaalselt loodud läbilaskevõime parandamiseks, kui korraga jälgitakse paljusid objekte.
- Paindlik juurutamine: kasutajad saavad valida majutatud API või välja antud uurimiskontrollpunktide vahel, arvestades kehtivaid juurdepääsunõudeid.
Mida see hästi ei tee või ei paku
- See ei ole üldotstarbeline assistent: SAM 3.1 ei ole mõeldud vestlemiseks, pikkade tekstide kirjutamiseks, üldiseks arutlemiseks ega tavapärase koodi genereerimiseks.
- See ei ole meediageneraator: see analüüsib pilte ja videoid, kuid ei sünteesi pildi-, heli- ega videofaile.
- Viibete keerukus on piiratud: lühikesed nimisõnafraasid sobivad dokumenteeritud kasutusotstarbega paremini kui pikad kirjeldused, mis nõuavad keerukat keelelist tõlgendamist.
- Spetsialiseeritud valdkonnad võivad vajada kohandamist: väga tehnilised teaduslikud, meditsiinilised või muul viisil mudeli treeningandmetest erinevad kontseptsioonid võivad nõuda peenhäälestust või täiendavat valideerimist.
- API spetsifikatsioonid on puudulikud: esitatud dokumentatsioon ei täpsusta konteksti-, tokeni-, voogedastus-, vahemällu salvestamise ega pakettide piiranguid.
- Avaldatud kiiruse kasv ei ole universaalne garantii: Meta seitsmekordne võrdlus kehtib konkreetse mitme objekti võrdlustesti puhul, milles kasutati 128 objekti ja ühte H100 GPU-d.
Arutlemine, programmeerimine ja tööriistade tugi
SAM 3.1 arutlusvõime on keelemudeli tähenduses piiratud. See saab kasutada visuaalset või tekstilist viibet, et määrata, millised piirkonnad vastavad konkreetsele kontseptsioonile, kuid esitatud uurimismaterjal ei kirjelda pikemat samm-sammulist arutlemist, planeerimist ega laiaulatuslikku visuaalset küsimustele vastamist. Mudeli kasulik intelligentsus on spetsialiseeritud: visuaalsete objektide järjepidev tuvastamine ja eraldamine piltidel ning kaadrites.
Programmeerimine ei ole mudeli võimekus. Arendajad saavad SAM 3.1 ümber API või uurimisimplementatsiooni abil koodi kirjutada ning hoidla pakub paigaldamise ja peenhäälestuse töövooge, kuid SAM 3.1 ise ei genereeri ega käivita koodi programmeerimisassistendina. Samuti ei ole tööriistade kasutamine ja funktsioonide kutsumine mudeli omadustena kinnitatud.
Parimad kasutusjuhud
SAM 3.1 on hea valik, kui süsteem vajab genereeritud sisu asemel viipade abil juhitavaid visuaalseid märkusi. Praktilised rakendused hõlmavad järgmist:
- Mitme inimese, sõiduki, toote või muu objekti jälgimine videos.
- Maskide loomine pildi- või videotöötluse töövoogude jaoks.
- Teksti või visuaalsete näidiste abil valitud objektide loendamine või jälgimine.
- Interaktiivsete märkustööriistade loomine, kus kasutaja annab punkti, kasti, maski või näidise.
- Treeningandmete ettevalmistamine järgnevatele arvutinägemissüsteemidele.
- Tihedalt täidetud stseenide analüüsimine, kus korraga tuleb jälgida paljusid objekte.
Väikese arvu objektide ja lühikese klipi puhul võib mõni teine segmenteerimistoru olla lihtsam või odavam. Sünteetilise meedia loomiseks sobib paremini generatiivne pildi- või videomudel. Vestlusliidese puhul, mis peab pilti selgitama, koodi kirjutama või ühendama visuaalse analüüsi üldise arutlemisega, tuleks SAM 3.1 tavaliselt siduda mõne teise mudeliga.
Millal valida SAM 3.1
Vali SAM 3.1 siis, kui täpsed objektimaskid, avatud sõnavaraga viiped ja mitme objekti jälgimine videos on olulisemad kui loomuliku keele genereerimine. See on eriti ahvatlev tihedate stseenide puhul, sest Object Multiplex vähendab paljude objektide samaaegse jälgimisega seotud arvutuskulu.
Vali majutatud API siis, kui prognoositav integratsioon ja kasutuspõhine juurdepääs on olulisemad kui kontroll taristu üle. Vali välja antud kontrollpunktid siis, kui isemajutus, kohandamine või uurimiseksperimentide tegemine õigustab vajaliku GPU- ja tarkvarakeskkonna haldamist. Mõlemal juhul kontrolli mudelit tegelike objektide, kaameratingimuste, valgustuse ja rakenduse jaoks oluliste domeeniandmetega.
Peamine kompromiss seisneb spetsialiseerituse ja ulatuse vahel. SAM 3.1 ei ole laia kasutusalaga tehisintellektiassistent, kuid selle fokuseeritud väljund — objektide asukohad, maskid, skoorid ja identiteedid — võib olla üldmudelist märksa kasulikum, kui ülesanne on visuaalne segmenteerimine ja jälgimine. Reklaamitud hinnakujundus ja Object Multiplexi täiustus muudavad selle eriti asjakohaseks töökoormuste puhul, mis töötlevad paljusid pildipiirkondi või videoobjekte, samas kui keele genereerimise ja tööriistade kasutamise puuduvad võimalused muudavad selle sobimatuks iseseisva üldotstarbelise mudelina.