Mis on Granite Switch 4.1 3B Preview?
Granite Switch 4.1 3B Preview on IBM Granite'i avatud kaaludega modulaarne keelemudel. Selle aluseks on Granite 4.1 3B mudel ning sellele on lisatud hulk manustatud adapterfunktsioone. Adapter on väike kindlale ülesandele suunatud komponent, mis muudab baasmudeli käitumist või täiendab seda. Selles kontrollpunktis hõlmavad need funktsioonid otsinguga täiendatud genereerimist (RAG), turvalisust, faktitäpsust, seletatavust, ebakindluse hindamist ja nõuete kontrollimist.
Praktiline idee on koondamine. Selle asemel et kasutada päringu ümberkirjutamiseks üht mudelit, turvalisuse klassifitseerimiseks teist ja vastuste kontrollimiseks kolmandat, saab rakendus kasutada üht eelkomponeeritud kontrollpunkti ning valida vestlusmallis olevate juhtmärkide abil sobiva adapteri. Mudel on endiselt eelversioon, seega tuleks seda enne tootmiskriitilises süsteemis kasutamist hinnata tüüpiliste töökoormustega.
IBM levitab seda kontrollpunkti Apache 2.0 litsentsi alusel Hugging Face'is IBM Granite'i organisatsiooni kaudu. Uuringus nimetatakse toetatud juurutusviisidena Hugging Face Transformersi ja vLLM-i, samal ajal kui Granite Switchi projekt ja Mellea pakuvad adapterfunktsioonide koostamiseks ja käivitamiseks täiendavaid tööriistu.
Granite'i mudelivaliku kontekstis
Granite Switch 4.1 3B Preview on Granite'i perekonna spetsialiseeritud liige, mitte üldotstarbeline majutatud assistenditoode. Selle aluseks olev 3 miljardi parameetriga mudel on suhteliselt väike, kuid manustatud adapterid annavad sellele tavalisest baaskontrollpunktist laiema valiku töövoopõhiseid funktsioone. Seega on mudel suunatud arendajatele ja organisatsioonidele, kes soovivad kohalikku kontrolli, avatud litsentsi ning modulaarset RAG- või turvakäitumist.
Seda ei esitleta teenusepakkuja hallatava API-mudelina, millel oleks avaldatud märgipõhine hinnakiri. Kättesaadav teave kirjeldab selle asemel allalaaditavat kontrollpunkti, mida saab käitada toetatud avatud lähtekoodiga tööriistade abil. See erinevus on oluline: kasutajad vastutavad riistvara valiku, järeldamise konfigureerimise, juurutuse haldamise ning tulemuseks oleva kvaliteedi ja latentsuse hindamise eest.
Arhitektuur ja kontekstiaken
Mudelil on ligikaudu 3 miljardit parameetrit ja 131 072 märgi suurune kontekstiaken. Kontekstiaken näitab sisendajaloo, otsitud materjali, juhiste ja muu teksti hulka, mida saab päringus mudelile edastada. 131 072 märgi suurune piir on kasulik mahukat dokumendikonteksti hõlmavate RAG-katsete puhul, kuigi tegelik võimekus sõltub teeninduskonfiguratsioonist, saadaolevast mälust, viiba struktuurist ja otsitud teksti hulgast.
Granite Switch lisab tihedale ainult dekooderiga transformeri baasile lülituskihi ja manustatud LoRA-laadsed adapterid. Adapteri valikut juhitakse vestlusmalli ja juhtmärkide kaudu. Projekt kirjeldab jämedateralist ekspertide vahetamist, mis tähendab, et üks adapter on aktiivne järjestikuse märgivahemiku ulatuses, mitte ei vahetu iga märgi puhul eraldi. Selle KV-vahemälu normaliseerimise lahendus hoiab adapteripõhised sisemised vahemäluseisundid eraldi, võimaldades samal ajal nende väljunditel osaleda samas genereerimisprotsessis.
Selle konkreetse eelversiooni kontrollpunkti autoriteetset maksimaalset väljundmärkide arvu ei tuvastatud. Seetõttu tuleks 131 072 märgi suurust näitajat käsitleda dokumenteeritud kontekstiakna, mitte lubadusena, et iga päring võib anda nii palju väljundmärke.
Mida teevad 12 manustatud adapterit?
Kontrollpunkt sisaldab 12 adapterit kolmest Granite Libraries kollektsioonist. Nende eesmärgid täiendavad üksteist:
- Granite Core Library: nõuete kontrollimine, konteksti omistamine ja ebakindluse hindamine.
- Granite RAG Library: päringute ümberkirjutamine, päringute täpsustamine, vastatavuse hindamine, hallutsinatsioonide tuvastamine ja viidete genereerimine.
- Granite Guardian Library: eestkostja turvakontrollid, faktitäpsuse tuvastamine, faktitäpsuse parandamine ja poliitikapiirded.
Need funktsioonid võivad toetada mitmeetapilist assistenditorustikku. Näiteks võib rakendus täpsustada ebaselget kasutajapäringut, kirjutada selle otsingu jaoks ümber, hinnata, kas otsitud materjal on piisav, genereerida viidetega vastuse ning seejärel teha faktitäpsuse või turvakontrolle. Ühe kontrollpunkti lähenemine võib lihtsustada pakendamist ja vähendada vajadust koordineerida paljusid eraldi juurutatud mudeliartefakte. See ei tähenda, et iga töövoog teeks kõik need sammud automaatselt; rakendus peab soovitud adapterikäitumise ise valima ja orkestreerima.
Juurutus, sisend ja väljund
Granite Switch 4.1 3B Preview on ainult tekstipõhine mudel. Esitatud spetsifikatsioonide kohaselt toetab see teksti sisendit ja teksti väljundit, kuid mitte pilti, heli, videot, muusikat ega muud otsest mittetekstilist väljundit. Seetõttu sobib see tekstipõhiseks RAG-iks, kontrollimiseks, klassifitseerimislaadseteks kontrollideks ja assistendivastusteks, kuid mitte piltide, kõne, muusika või video genereerimiseks.
Dokumenteeritud juurutusvõimalused on Hugging Face Transformers ja vLLM. Granite Switchi hoidlat ja Melleat saab kasutada adapterite koostamiseks ja käivitamiseks. Uuringus märgitakse voogedastuse tugi, kuid ei kinnitata selle konkreetse kontrollpunkti puhul eraldi teenusepakkuja hallatavat API-t, majutatud lõpp-punkti, pakett-API-t ega ametlikku JSON-režiimi. Tööriista- või funktsioonikutsete tuge pole samuti Switchi kontrollpunkti enda puhul kinnitatud; rakendused ei tohiks eeldada, et baasmudeli laiem tööriistakutsete kontekst kehtib automaatselt iga manustatud adapteri töövoo puhul.
Hind ja kasutuskulud
Granite Switch 4.1 3B Preview jaoks ei tuvastatud ametlikku majutatud teenuse märgihinda. Seetõttu pole kontrollitud sisendi- ega väljundhinda, mida välja tuua. Apache 2.0 litsents lubab seda litsentsi järgides kasutada ja muuta, kuid käitamine ei ole tasuta: kasutajad vajavad endiselt sobivat arvutusvõimsust, salvestusruumi, teenindustaristut, seiret ja arendustööd.
Selle väike parameetrite arv ja kohaliku juurutuse profiil võivad muuta selle käitamise palju suurest üldotstarbelisest mudelist soodsamaks, eriti siis, kui töökoormus võidab sellest, et RAG- ja kontrollifunktsioonid paiknevad rakenduse lähedal. See on toimetuslik hinnang, mitte teenusepakkuja avaldatud kulude võrdlusalus. Tegelik kulu ja kiirus sõltuvad riistvarast, kvantimisest, pakktöötlusest, konteksti pikkusest ja teeninduskonfiguratsioonist. Uuringus on toimetuslikuks kiirusskooriks märgitud 8 ja kuluskooriks 9 määratlemata sisemise skaala alusel; need on hinnangud, mitte IBM-i võrdlustestide tulemused.
Peamised tugevused ja piirangud
Tugevused
- Funktsioonide koondamine: üks kontrollpunkt sisaldab mitut RAG-i, turvalisuse, faktitäpsuse ja töökindlusega seotud adapterit.
- Suur dokumenteeritud kontekst: 131 072 märgi suurune aken võib toetada mahukaid viipasid ja otsitud konteksti, sõltuvalt juurutuse ressurssidest.
- Avatud juurutus: Apache 2.0 litsentsiga kontrollpunkti saab alla laadida ja käitada toetatud kohalike tööriistade abil, ilma et oleks vaja kindlat majutatud teenust.
- Töövoo spetsialiseeritus: kaasatud adapterid on suunatud praktilistele assistendi etappidele, nagu päringu täpsustamine, viidete genereerimine, ebakindluse hindamine ja poliitikakontrollid.
- Potentsiaalselt tõhus teenindus: 3 miljardi parameetriga baas on paljudest tipptasemel mudelitest väiksem, mis võib sobida kohalikuks või kulutundlikuks juurutuseks.
Piirangud
- Eelversiooni staatus: adapterite kvaliteeti, ühilduvust ja töökindlust tuleks enne tootmises kasutamist testida.
- Kontrollitud majutatud hinnakiri puudub: organisatsioonid, kes otsivad lihtsat märgipõhist tasulist lõpp-punkti, vajavad muud lahendust või peavad mudelit ise käitama.
- Kontrollitud väljundipiirang puudub: täpset genereerimise maksimaalset pikkust ei tuvastatud.
- Ainult tekst: esitatud spetsifikatsioonide kohaselt ei saa see otse töödelda ega genereerida pildi-, heli- või videosisu.
- Rakendusepoolsed kontrollid on endiselt vajalikud: turvaadapterid ja faktitäpsuse kontrollid ei asenda otsingu jälgimist, juurdepääsukontrolle, poliitikate kujundamist, hindamist ega vajaduse korral inimese tehtavat ülevaatust.
- Väikese baasmudeli kompromissid: selle suhteliselt kompaktne suurus võib soodustada kiirust ja väiksemaid juurutuskulusid, kuid uuring ei esita võrdlustestide tõendeid selle kohta, et see vastaks suuremate mudelite tasemele üldises arutluses, programmeerimises või keelekvaliteedis.
Arutlemine, programmeerimine ja tööriistade kasutamine
Granite Switch on eelkõige loodud struktureeritud assistenditöövoogude jaoks, mitte eraldi dokumenteeritud mõttekäigu või pikendatud arutlemise režiimina. Manustatud nõuete, ebakindluse, faktitäpsuse ja omistamise funktsioonid võivad aidata rakendusel vastuseid kontrollida või piirata, kuid neid ei tohiks käsitleda tõendina tipptasemel arutlusvõimest.
Esitatud toimetuslik hindamine annab arutlemise ja programmeerimise skooriks 5, märkides samal ajal, et need skoorid on hinnangud, mis põhinevad väikesel parameetrite arvul, kohaliku juurutuse profiilil ja spetsialiseeritud adapterifunktsioonidel, mitte IBM-i ametlikel võrdlustestidel. Mudel võib olla kasulik programmeerimisega seotud assistendiülesannetes, kui need kuuluvad laiemasse RAG-i või ettevõtte töövoogu, kuid programmeerimise võrdlustesti ega spetsiaalset programmeerimisvõimekust ei kinnitatud.
Tööriista- või funktsioonituge pole selle konkreetse kontrollpunkti puhul kinnitatud. Arendajad peaksid käsitlema adaptereid Granite Switchi töövoo kaudu valitavate mudelikäitumistena, mitte automaatselt kättesaadavate väliste toimingutena. Iga andmebaasipäring, otsingutoiming, poliitiline otsus või ärisüsteemi tegevus tuleb endiselt ümbritsevas rakenduses rakendada ja turvata.
Millal valida Granite Switch 4.1 3B Preview?
Vali see mudel siis, kui peamine vajadus on kohapeal juurutatav tekstimudel, mis koondab mitu RAG-i, turvalisuse, faktitäpsuse ja seletatavuse funktsiooni ühte paketti. See sobib eriti hästi järgmisteks juhtudeks:
- RAG-torustikud, mis vajavad päringute ümberkirjutamist, täpsustamist, vastatavuse kontrolli ja viiteid;
- ettevõtte assistendid, mis vajavad vastuste kontrollimist või ebakindluse signaale;
- kohalikud turva- ja poliitikakontrolli töövood;
- modulaarse mudelikäitumise ja adapterite koostamise katsetamine;
- juurutused, kus avatud litsents ja kontroll andmete üle on olulisemad kui ligipääs hallatavale API-le.
Teist tüüpi mudel võib olla sobivam juhul, kui esmatähtis on multimodaalne sisend või väljund, stabiilne üldiselt kättesaadav versioon, sõltumatult kontrollitud arutlemis- või programmeerimise võrdlustestid, garanteeritud väljundipiirangud, teenusepakkuja hallatav pakett-lõpp-punkt või ettearvatav majutatud teenuse märgihind. Nõudlike avatud arutlemis- või programmeerimisülesannete puhul võib eelistada ka suuremat üldotstarbelist mudelit, kuigi esitatud uuring ei paku otsest võrdlustesti.
Kokkuvõte
Granite Switch 4.1 3B Preview'd tuleks eelkõige mõista kui modulaarset kohalikku mudelit kaitstud ja seletatavate tekstipõhiste töövoogude loomiseks. Selle määrav omadus ei ole avaldatud võrdlustesti edu ega majutatud API-de kataloog, vaid 12 spetsialiseeritud adapteri sisaldumine ühes Granite'il põhinevas kontrollpunktis. See muudab mudeli huvitavaks RAG-i ja ettevõtte assistentide katsetamiseks, kuid mis tahes juurutusotsuses tuleb arvestada ka eelversiooni staatuse, kontrollitud majutatud hinnakirja ja väljundipiirangute puudumise, ainult tekstipõhise ülesehituse ning rakenduse tasandil vajalike kaitsemeetmetega.