Mis on Qwen2.5-72B-Instruct?
Qwen2.5-72B-Instruct on Alibaba Cloudi Qweni meeskonna välja töötatud tihe, ainult dekoodril põhinev kausaalne keelemudel. Praktikas ennustab ja genereerib see teksti vastuseks juhistele, vestlusvoorudele, dokumentidele või programmeerimisülesannetele. Mudel sisaldab ligikaudu 72,7 miljardit parameetrit, millest umbes 70 miljardit on mitte-embedding-parameetrid. See teeb sellest suurima üldotstarbelise juhistepõhise mudeli Qwen2.5 väljalaskes, mida kirjeldatud uurimus käsitleb.
Mudel avaldati 19. septembril 2024. See on avatud kaaludena saadaval muu hulgas Hugging Face'i ja ModelScope'i repositooriumides, mitte ühe kohustusliku esimese osapoole hostitud rakendusena. Sellel erinevusel on tähtsust: tavaliselt tuleb kasutajal endal valida riistvara, järeldusraamistik, mudelivorming ja käitamisviis. Mõned kolmandate osapoolte teenused võivad pakkuda ühilduvaid juurutusi, kuid esitatud uurimus ei kinnita selle mudeli jaoks üht ametlikku tarbijatellimust ega universaalset hostitud kasutuse hinda.
Koht Qweni mudelikataloogis
Qwen2.5-72B-Instruct kuulub Qwen2.5 perekonda ja on uuemate Qweni väljalasetega võrreldes varasema põlvkonna mudel. Oma väljalaskeperekonnas on 72B juhiste järgi häälestatud mudel mõeldud kasutajatele, kes vajavad väiksemate ja vähem ressursse nõudvate variantidega võrreldes suuremat võimekust ning on valmis leppima suuremate taristunõuetega. Seda ei tohiks segi ajada Qwen Studioga, mis on Alibaba tarbijatele suunatud tehisintellektiteenus, ega Alibaba Cloud Model Studioga, mis pakub eraldi dokumenteeritud API-teenuseid ja hinnastamist.
Mudeli avatud kaalud annavad organisatsioonidele rohkem kontrolli kui tavapärane ainult hostitud mudel. Nad saavad seda käitada oma keskkonnas, valida kvantiseeritud versiooni, kohandada mudelit spetsiaalse töövoo jaoks või teha selle kättesaadavaks OpenAI-ga ühilduva teeninduslõpp-punkti kaudu. See paindlikkus ei kaota vajadust enne mudeli edasilevitamist või ärilist juurutamist Qweni litsentsileping üle vaadata.
Põhivõimekus ja modaalsused
Qwen2.5-72B-Instruct on teksti sisendina ja teksti väljundina kasutav mudel. See võtab vastu tekstipäringuid ja genereerib tekstivastuseid; algselt ei toeta see pilte, heli ega videot sisendina ning ei genereeri pilte, heli ega videot. Teenusepakkuja materjalide kohaselt toetab mudel rohkem kui 29 keelt, sealhulgas näiteks hiina, inglise, prantsuse, hispaania, portugali, saksa, itaalia, vene, jaapani, korea, vietnami, tai ja araabia keelt.
Selle kavandatud kasutusvaldkondade hulka kuuluvad küsimustele vastamine, kokkuvõtete tegemine, tõlkimine, dokumentide analüüs, rollipõhised assistendid, programmeerimine, matemaatika, mitmekeelne vestlus ja struktureeritud teksti genereerimine. Qwen2.5 väljalaskes rõhutatakse ka paremat juhiste järgimist, pikkade tekstide genereerimist, struktureeritud andmete mõistmist ja JSON-vormingule suunatud väljundit. JSON-vormingule suunatud genereerimist ei tohiks automaatselt tõlgendada eraldi kinnitatud range JSON-režiimina: esitatud uurimus ei kinnita selle mudeli jaoks eraldiseisvat teenusepakkuja määratletud JSON-režiimi funktsiooni.
Mudeli lai keelevalik muudab selle kasulikuks olukordades, kus süsteem peab töötama hiina, inglise ja teistes toetatud keeltes. Mitmekeelse toe olemasolu ei taga siiski kõigi keelte ega ülesannete puhul võrdset kvaliteeti ning mudel on endiselt generatiivne süsteem, mille vastuseid tuleb olulise mõjuga rakendustes kontrollida.
Kontekstiaken ja väljundipiirangud
Mudeli kaardil on märgitud konteksti täispikkuseks 131 072 tokenit ja genereerimise maksimaalseks pikkuseks 8192 tokenit. Token on tekstifragment, mida mudel töötlemiseks kasutab; kontekstipiirang hõlmab koos nii päringut kui ka genereeritud vastust. Seetõttu võivad pikk dokument, vestlusajalugu, hangitud taustmaterjal või koodibaas enne mudeli vastamise alustamist suure osa saadaolevast kontekstist ära kasutada.
Standardne repositooriumi konfiguratsioon on määratud 32 768 tokenile. Täieliku 131 072 tokeni pikkuse konteksti kasutamiseks on vaja YaRNi pöörleva positsioonikodeeringu skaleerimist ja laiendatud kontekstiaknaga seadistatud järeldusraamistikku. Qweni dokumentatsioon soovitab pika konteksti juurutamiseks vLLM-i või muud ühilduvat teenindusraamistikku. Staatiline YaRN-i skaleerimine võib mõjutada lühemaid päringuid, mistõttu on üldiselt mõistlik käsitleda seda konfiguratsioonina töökoormuste jaoks, mis tõepoolest vajavad standardseadest pikemaid sisendeid, mitte lubada seda valimatult.
Kontrollitud maksimaalne genereerimispikkus on 8192 tokenit. Sellest piisab põhjalike selgituste, koodi või struktureeritud vastuste jaoks, kuid tegemist ei ole piiramatu väljundi seadistusega. Tegelikult võivad saadaolev mälu, teeninduskonfiguratsioon, peatamistingimused ja rakenduse taseme piirangud kasutatavat mahtu vähendada.
Arutlemine, programmeerimine ja tööriistade tugi
Qwen2.5-72B-Instruct on mõeldud arutlemist nõudvate keeleülesannete jaoks, sealhulgas matemaatika, mitmeastmeline küsimustele vastamine, dokumentide analüüs ja juhiste järgimine. Esitatud kataloogiandmetes on selle toimetuslik arutlemise hinnang 8 punkti 10-st. Tegemist on võrdleva hinnanguga, mitte kontrollitud teenusepakkuja spetsifikatsioonina avaldatud punktisummaga, mistõttu ei tohiks seda käsitleda standardiseeritud võrdlustesti tulemusena.
Programmeerimine on teine keskne kasutusvaldkond. Mudel suudab koodi genereerida, selgitada, teisendada ja üle vaadata ning see on mõeldud programmeerimisabiks kõrvuti üldise keelekasutusega. Esitatud kataloogiandmetes on selle toimetuslik programmeerimishinnang 8 punkti 10-st. Kasutajad peaksid genereeritud koodi siiski testima, eriti juhul, kui oluline on korrektsus, turvalisus, jõudlus või ühilduvus konkreetse käituskeskkonnaga.
Mudelit saab teenindada selliste raamistike kaudu nagu Transformers, vLLM ja SGLang, sealhulgas OpenAI-ga ühilduvate lõpp-punktide kaudu, kui teeninduskiht seda liidest pakub. See kirjeldab juurutusühilduvust, mitte kinnitatud sisseehitatud võimet kasutada väliseid tööriistu. Esitatud uurimus ei kinnita mudeli enda loomulikku veebotsingut, funktsioonikutseid, veebisirvimist, koodi käivitamist ega muid tööriistade kasutamise funktsioone. Arendaja võib need võimalused mudeli ümber ehitada, kuid siis oleks tegemist rakenduse või teenindussüsteemi funktsiooniga, mitte kinnitatud loomuliku modaalsusega.
Juurutamine, kiirus ja kulude kompromissid
Avatud kaalude peamine eelis on kontroll. Meeskond saab Qwen2.5-72B-Instructi privaatselt juurutada, valida kvantiseerimistaseme, mudelit täiendavalt treenida, integreerida selle otsingusüsteemidega ning otsustada, kuidas päringuid ja andmeid käsitletakse. Seda saab kasutada koos Transformersiga ning teenindada vLLM-i või SGLangi kaudu, samal ajal kui ühilduvad kvantiseeritud variandid on saadaval ökosüsteemi tööriistade, näiteks llama.cpp, Ollama ja LM Studio kaudu.
Selle hinnaks on suurem käitamise keerukus. Ligikaudu 73 miljardi parameetriga täppismudel vajab märkimisväärselt mälu- ja arvutusressursse ning pikk kontekst suurendab nõudlust veelgi. Esitatud kataloogiandmetes on toimetuslikuks kiirusehinnanguks 4 punkti 10-st ja kuluhinnanguks 7 punkti 10-st. Need on subjektiivsed võrdlevad hinnangud, mitte teenusepakkuja avaldatud jõudlus- või hinnamõõdikud. Need väljendavad praktilist ootust, et mudel eelistab väikese latentsuse ja vähese ressursikuluga järeldamisele võimekust ja paindlikkust.
Väiksemad keelemudelid on üldjuhul sobivamad siis, kui vastusekiirus, tagasihoidlik riistvara või suur päringumaht on Qwen2.5 perekonna maksimaalsest võimekusest olulisemad. Haldus-API võib olla eelistatavam ka meeskondadele, kes ei soovi mudeliservereid käitada. Seevastu Qwen2.5-72B-Instruct on atraktiivsem juhul, kui privaatne juurutus, mudeli kohandamine, mitmekeelne tugi ja teeninduskorstna üle kontrolli omamine õigustavad taristuga seotud tööd.
Hinnastamine ja litsents
Esitatud uurimuses ei ole kinnitatud sisend- ega väljundtokeni hinda. Kuna tegemist on avatud kaaludega mudeli, mitte ühe kohustusliku hostitud API-tootega, sõltub majanduslik külg riistvarast, pilvetaristust, elektrist, salvestusruumist, teenindustarkvarast, kvantiseerimisest ja võimalikest kolmandate osapoolte hostimistasudest. Seetõttu ei tohiks mudelit esitleda universaalse kuutellimuse ega kinnitatud tokenipõhise hinnaga tootena.
Qwen2.5-72B-Instruct kasutab Apache 2.0 asemel Qweni litsentsilepingut. Esitatud litsentsiteabe kohaselt on kasutamine, reprodutseerimine, levitamine ja muutmine lubatud lepingu tingimustel. Äritooted või -teenused, millel on üle 100 miljoni igakuise aktiivse kasutaja, peavad taotlema Alibaba Cloudilt täiendavat litsentsi. Tooted, mis kasutavad materjale või nende väljundeid teise levitatava tehisintellektimudeli loomiseks, treenimiseks, täiendavaks häälestamiseks või täiustamiseks, peavad kuvama nõutud märget „Built with Qwen” või „Improved using Qwen”. Organisatsioonid peaksid enne toote avaldamist või muudetud mudeli edasilevitamist kogu litsentsi läbi vaatama.
Tugevused ja piirangud
Tugevused
- Lai üldotstarbeline võimekus kirjutamisel, küsimustele vastamisel, programmeerimisel, matemaatikas, tõlkimisel ja dokumentidega töötamisel.
- Rohkem kui 29 keele tugi, sealhulgas hiina ja inglise keel.
- Kuni 131 072 tokeni pikkune kontekst, kui kasutatakse YaRNi ja sobivat teeninduskonfiguratsiooni.
- Avatud kaalud toetavad lokaalset hostimist, kvantiseerimist, täiendavat häälestamist ja kontrolli taristu üle.
- Kasulikud struktureeritud andmete ja JSON-vormingule suunatud genereerimise võimalused, mida tuleb rakenduse tasemel kontrollida.
- Ühilduvus levinud juurutustööriistadega, sealhulgas Transformersi, vLLM-i ja SGLangiga.
Piirangud
- Ligikaudu 72,7 miljardi parameetriga mudel nõuab palju ressursse ning ei ole ilmne valik väikese jõudlusega riistvara või latentsuse suhtes tundlike servarakenduste jaoks.
- See on ainult tekstimudel, millel puudub loomulik piltide, heli või video sisend ja väljund.
- Täielik kontekstiaken nõuab täiendavat YaRNi seadistamist; standardkonfiguratsioon on 32 768 tokenit.
- Esitatud uurimus ei kinnita loomulikku veebisirvimist, funktsioonikutseid, koodi käivitamist ega muid tööriistade kasutamise funktsioone.
- Universaalset ametlikku hostitud hinda ei ole kindlaks tehtud, mistõttu sõltuvad käitamiskulud valitud taristust või hostimisteenuse pakkujast.
- Qweni litsentsileping sisaldab tingimusi, mis võivad mõjutada suuremahulisi äriteenuseid ja tuletatud levitatavate tehisintellektimudelite loomist.
- Selle mudeli kohta läbi vaadatud esimese osapoole dokumentatsioonis ei õnnestunud kontrollida täpset teadmiste lõppkuupäeva.
Millal valida Qwen2.5-72B-Instruct?
Vali Qwen2.5-72B-Instruct siis, kui vajad privaatseks või kontrollitud juurutuseks avatud kaaludega tekstimudelit ja suudad katta selle riistvaranõuded. See on mõistlik kandidaat mitmekeelsete assistentide, programmeerimistööriistade, matemaatika- ja uurimistöövoogude, otsinguga täiendatud genereerimise, dokumentide analüüsi, struktureeritud teksti genereerimise ning suurest kontekstiaknast kasu saavate rakenduste jaoks.
See sobib halvemini juhul, kui vajad loomulikku visuaalset või helilist arusaamist, piltide genereerimist, kerget lokaalset mudelit, püsivalt väikest latentsust või lihtsat hallatud teenust prognoositava teenusepakkuja hinnastamisega. Sellistel juhtudel võib paremini sobida multimodaalne mudel, väiksem mudel või hostitud API. Valikul tuleb arvestada ka litsentsikohustuste ning sellega, kas meeskond suudab oma järeldusjuurutust jälgida, hinnata, turvata ja ajakohastada.
Üldjoontes tasub Qwen2.5-72B-Instructi käsitleda võimeka, mitmekeelse ja avatud kaaludega tekstimudelina, mille väärtus tuleneb laiaulatusliku keeleoskuse, programmeerimise toe, pika konteksti potentsiaali ja juurutuse üle kontrolli kombinatsioonist. Selle suurus, ainult tekstil põhinev ülesehitus, konfiguratsiooninõuded ja litsentsitingimused ei ole kõrvalised detailid; need määravad, kas selle paindlikkus on konkreetse projekti jaoks kasulik või kaaluvad käitamise kulud selle üles.