GLM-4.7

Mis on GLM-4.7?

GLM-4.7 on Z.ai avatud kaaludega ekspertide segu (mixture-of-experts) tüüpi keelemudel. Selle peamine ülesanne on tulla toime nõudlike tarkvaraarenduse ja arutluskäigu töövoogudega: koodi kirjutamine kogu koodivaramu ulatuses, terminalipõhised agendid, tööriistade kasutamine, tehniline uurimistöö, kasutajaliideste genereerimine ning pikem mitmevooruline koostöö.

Ekspertide segumudel sisaldab mitut spetsialiseerunud alamvõrku ehk „eksperti“. Kuigi kogu GLM-4.7 süsteemi suuruseks on märgitud ligikaudu 355 miljardit parameetrit, määratlevad Z.ai avatud lähtekoodiga materjalid ühe järeldusetapi jaoks ligikaudu 32 miljardit aktiivset parameetrit. See ülesehitus aitab selgitada nii mudeli võimekuse eesmärki kui ka märkimisväärseid riistvaranõudeid, mis kaasnevad kogu mudeli kohapeal käitamisega.

Kanooniline API-identifikaator on glm-4.7. Z.ai pakub mudelit vestluse lõpetamise liidese kaudu ning kaale levitatakse samuti kohapealseks või enda hallatavas keskkonnas kasutamiseks. Esitatud mudelikaardi uuringu kohaselt on avaldatud kaalud MIT-litsentsiga.

GLM-4.7 koht Z.ai mudelivalikus

GLM-4.7 kuulub Z.ai GLM-mudelite perekonda ning on suunatud eelkõige koodi kirjutamisele ja arutluskäigule, mitte üldiseks meediamudeliks. Esitatud uuringus nimetatakse GLM-5 ja hilisemaid GLM-5.x mudeleid uuemateks järeltulijateks, kuid GLM-4.7 on endiselt eraldi tuvastatav ja kättesaadav mudel, millel on oma API-identifikaator, hinnakujundus ja allalaaditavad kaalud.

Sellel positsioneerimisel on mudeli valimisel tähtis roll. GLM-4.7 on mõeldud ülesanneteks, mille puhul mudel peab säilitama suure hulga konteksti, läbima mitmeastmelise arutluskäigu või suhtlema tööriistadega. Seda ei esitleta loomuliku nägemise, kõne, muusika või video süsteemina. Rakendused, mis vajavad neid modaalsusi, peaksid kasutama selleks loodud mudelit, mitte käsitlema GLM-4.7 universaalse sisendi- ja väljundmudelina.

Kontekst, väljund ja toetatud modaalsused

Z.ai dokumentatsiooni kohaselt on kontekstiaken 200 000 tokenit. Kontekstiaken näitab teksti ja vestluse oleku hulka, mida saab päringu ajal mudelile edastada, sealhulgas asjakohaseid juhiseid, lähtefaile, tööriistade tulemusi ja varasemaid voorusid. Seetõttu sobib GLM-4.7 suurte koodivaramute, pikkade tehniliste dokumentide ja agendiseansside jaoks, mille käigus tuleb säilitada palju olekuteavet.

Dokumenteeritud maksimaalne väljund on 128 000 tokenit. See piir on eriti kasulik näiteks suurte koodimuudatuste, üksikasjalike tehniliste plaanide või pikkade tööriistade abil koostatud vastuste genereerimisel. Rakendused peaksid siiski küsima ainult vajalikku väljundipikkust, sest pikem genereerimine võib suurendada latentsust ja kulusid.

Esitatud dokumentatsiooni kohaselt on GLM-4.7 mõlemas suunas ainult tekstipõhine. See ei võta loomupäraselt vastu pilte, heli ega videot ega loo otse pilte, kõnet, muusikat või videot. Struktureeritud tekstivorminguid, näiteks JSON-it, toetatakse, kuid uuringus ei kinnitata eraldi pakkuja funktsiooni nimega JSON-režiim. Seetõttu ei tohiks struktureeritud väljundit automaatselt käsitleda eraldiseisva JSON-režiimi garantiina.

Arutluskäik, programmeerimine ja agendi käitumine

GLM-4.7 on loodud ülesanneteks, mille puhul mudel peab enne vastuse andmist või tööriista kutsumist kavandama oma tegevuse. Selle läbipõimitud arutluskäigu lähenemisviis on mõeldud mitmeastmelise täitmise toetamiseks, samal ajal kui säilitatud arutlusplokid võivad koodiagendi stsenaariumides voorude vahel asjakohast arutlusseisundit alles hoida. Z.ai dokumenteerib ka juhtelemente mõtlemise sisse- või väljalülitamiseks ning arutluskäigu muutmiseks vooru tasemel.

Need juhtelemendid loovad praktilise kvaliteedi ja latentsuse vahelise kompromissi. Põhjalikum arutluskäik võib olla kasulik silumisel, kogu koodivaramut hõlmava muudatuse kavandamisel, tööriistade tulemuste tõlgendamisel või mitme võimaliku teostusviisi vahel otsustamisel. Kergem või väljalülitatud mõtlemisrežiim võib olla eelistatav lihtsate teisenduste, lühikeste vastuste ja latentsustundlike suhtluste puhul. Esitatud uuring ei määratle iga päringu jaoks universaalset kvaliteedikasvu, mistõttu tuleks neid režiime hinnata rakenduse töökoormuse põhjal.

Z.ai teatel on GLM-4.7 võrreldes GLM-4.6-ga paranenud programmeerimise, terminaliagentide, tööriistade kasutamise ja arutluskäigu hindamistulemustes. Esitatud tulemuste hulka kuuluvad 73,8% SWE-bench Verifiedi, 66,7% SWE-bench Multilinguali, 41% Terminal Bench 2.0 ja 42,8% tööriistadega Humanity’s Last Exami puhul. Need on pakkuja esitatud võrdlustulemused, mitte sõltumatud garantiid konkreetse koodibaasi või tootmistöövoo jõudluse kohta.

Praktikas on mudeli programmeerimissuunale keskendumine kõige olulisem siis, kui rakendus vajab enamat kui koodi lõpetamist. Näiteks võib see hõlmata koodivaramu uurimist, plaani koostamist, mitme seotud faili muutmist, terminalikäskude käivitamist või tulemuste tõlgendamist, testitõrgetele reageerimist ja jätkamist mitme tööriistakutse järel. Pikk kontekst aitab samuti hoida spetsifikatsioone, teostuse üksikasju ja varasemate tööriistade väljundit pikema seansi jooksul kättesaadavana.

Tööriistad, voogedastus ja struktureeritud vastused

GLM-4.7 toetab funktsioonide kutsumist, mis võimaldab rakendusel kirjeldada väliseid toiminguid (näiteks koodivaramust otsimist, testi käivitamist, andmebaasi päringut või pileti loomist) ning lasta mudelil neid toiminguid struktureeritud viisil taotleda. Rakendus vastutab endiselt funktsiooni täitmise, argumentide valideerimise, õiguste haldamise ja taotletud toimingu ohutuse hindamise eest.

Toetatud on ka voogedastus. Kogu vastuse saabumise ootamise asemel võib klient saada genereeritud teksti järk-järgult. Voogedastus on kasulik interaktiivsete liideste ja pikkade vastuste puhul, kuid see ei kõrvalda genereerimisega kaasnevaid kulusid ega muuda ebaharilikult keerukat ülesannet hetkega teostatavaks.

Mudel toetab struktureeritud väljundivorminguid, näiteks JSON-it. See on kasulik siis, kui ümbritsev rakendus vajab vabas vormis teksti asemel etteaimatavaid välju, näiteks koodiülevaate tulemust, mis sisaldab tõsidusastet, faili asukohta, selgitust ja soovitatud parandust. Arendajad peaksid tagastatud struktuuri siiski valideerima ning käsitlema keeldumisi, mittetäielikku väljundit ja väärtusi, mis ei vasta rakenduse piirangutele.

GLM-4.7 API hinnakujundus

Esitatud hinnauuringu kohaselt on Z.ai API hinnad 0,60 dollarit 1 miljoni sisendtokeni kohta ja 2,20 dollarit 1 miljoni väljundtokeni kohta. Need on tokenipõhised hinnad, mitte fikseeritud kuutellimus. Sisendtokenid hõlmavad mudelile saadetavat materjali, väljundtokenid aga mudeli genereeritut. Seetõttu võivad pikk kontekst ja mahukas vastus tekitada erineva kulu isegi sarnaste päringute puhul.

Hinnad pärinevad esitatud uuringus kasutatud teisesest hinnainfoallikast, samal ajal kui Z.ai ametlik dokumentatsioon kinnitab mudeli ja API üksikasju. Vahemällu salvestatud sisu hinnad võivad juurdepääsutee järgi erineda, mistõttu peaksid meeskonnad enne tootmiskulude hindamist kontrollima kehtivat hinnakirjalehte. Kuna väljundtokenid maksavad esitatud hinnakujunduse kohaselt rohkem kui sisendtokenid, saavad rakendused kulusid vähendada, piirates tarbetu vastuse pikkust, vältides korduvat konteksti seal, kus vahemällu salvestamine on võimalik, ning valides lihtsate ülesannete jaoks odavama mudeli.

API kasutamine ja kohapealne juurutamine

Majutatud API on lihtsaim viis GLM-4.7 kasutamiseks juhul, kui prioriteediks on juurdepääs mudelile ilma väga suure ekspertide segu süsteemi käitamiseks vajaliku taristu loomiseta. API välistab ka töö, mis kaasneb kaalude allalaadimise, järeldustarkvara seadistamise, mälu haldamise ja päringute skaleerimisega.

Kohapealne juurutamine võib olla atraktiivne organisatsioonidele, kes vajavad kontrolli teeninduskeskkonna üle, soovivad avatud kaaludega mudelit uurida või muuta või kellel on sobiv taristu. Z.ai avatud lähtekoodiga materjalides viidatakse juurutusvõimalustele, mis hõlmavad Transformersit, vLLM-i, SGLang-i ja ModelScope’i. Ligikaudu 355 miljardi parameetriga täismudeli suurus tähendab aga, et täppiskujul enda hallatavas keskkonnas majutamine on märksa nõudlikum kui väikese mudeli teenindamine. Kvantimine ja optimeeritud järeldamine võivad riistvaraarvutust muuta, kuid esitatud uuringus ei määratleta konkreetset minimaalset riistvarakonfiguratsiooni.

Millal valida GLM-4.7?

Vali GLM-4.7 siis, kui töökoormus saab kasu suurest kontekstist, sihipärasest mitmeastmelisest arutluskäigust ja suhtlusest väliste tööriistadega. Sobivad kasutusjuhud on näiteks:

• Tarkvaraarendus ja koodiülevaatus kogu koodivaramu ulatuses.
• Terminali- või brauseripõhised agendid, kes peavad kavandama, tööriistu kutsuma, tulemusi uurima ja tegevust jätkama.
• Keerukas silumine ja teostusülesanded, mis hõlmavad mitut seotud faili.
• Pikad tehnilised dokumendid, spetsifikatsioonid ja uurimistööga seotud töövood.
• Kasutajaliideste genereerimine ja iteratiivne arendus.
• Rakendused, mis vajavad funktsioonide kutsumist, voogedastust või struktureeritud tekstivastuseid.

Teine valik võib olla sobivam siis, kui peamine nõue on kiirus, kui ülesanne on väiksema mudeli jaoks piisavalt lihtne või kui rakendus vajab pildi-, heli-, video- või muid mittetekstilisi võimeid. Väiksemat või spetsialiseeritud mudelit võib olla ka lihtsam ja odavam enda hallatavas keskkonnas käitada. Seevastu on GLM-4.7 kergekaalulisest tekstimudelist parem kandidaat siis, kui täiendav arutluskäik, konteksti mahutavus ja agendipõhine programmeerimiskäitumine õigustavad selle suuremaid arvutusnõudeid.

Olulised piirangud

GLM-4.7 modaalsuspiirang on selge: tegemist on tekstisisendi ja tekstiväljundiga mudeliga. Seda ei tohiks valida loomuliku pildimõistmise või meedia genereerimise süsteemiks. Teine oluline piirang on mudeli suur arhitektuur, eriti kohapealse juurutamise puhul üksikisikutele või meeskondadele, kellel puudub mahukas järeldusriistvara.

Ka esitatud võrdlustulemusi tuleks käsitleda pigem suunava tõendusmaterjali kui iga projekti toimivusgarantiina. Programmeerimise jõudlus sõltub koodivaramust, kasutatavast keelest, testidest, tööriistade määratlustest, viipade ülesehitusest ja ümbritseva agenditsükli kvaliteedist. Samuti ei tähenda 200 000 tokeni suurune kontekstiaken, et iga ülesanne paraneb kogu akna täitmisel; oluline on endiselt asjakohase konteksti valimine ja selged tööriistaväljundid.

Kokkuvõttes on GLM-4.7 kõige veenvam tekstipõhise tehnika- ja arutlusmudelina kasutajatele, kes hindavad pikka konteksti, seadistatavat mõtlemist, tööriistade kasutamist ja avatud kaalude kättesaadavust. Selle kulude ja juurutamisega seotud kompromissid on selliste töökoormuste puhul mõistlikud, kuid lihtsamate või mittetekstiliste rakenduste jaoks võib parem valik olla väiksem ja kiirem mudel või konkreetsele modaalsusele mõeldud süsteem.