Mis on Yi-1.5-6B?
Yi-1.5-6B on 01.AI arendatud avatud kaaludega põhjuslik keelemudel. Tähis „6B” viitab ligikaudu kuue miljardi parameetriga mudelile, samas kui „base” tähendab, et see kontrollpunkt on mõeldud üldiseks eeltreenitud alusmudeliks, mitte kohe kasutatavaks vestlusabiliseks.
Mudel genereerib teksti tekstisisendi põhjal. Arendajad saavad seda kasutada lokaalseks genereerimiseks, teadustööks, peenhäälestuseks, domeenikohanduseks ja rakendustes, kus kontroll mudeli ning selle juurutuskeskkonna üle on olulisem kui hallatud hostitud lõpp-punkti kasutamine.
Yi-1.5-6B-d tuleb eristada mudelist Yi-1.5-6B-Chat, mis on eraldi tähistatud juhiste järgi peenhäälestatud versioon. Vestlusvariant on loodud vestlusjuhiste otsesemaks järgimiseks. Yi-1.5-6B annab arendajatele seevastu alusmudeli, mida saab kohandada oma juhiste, juhendatud peenhäälestuse või järgnevate rakenduste jaoks.
Yi-1.5 perekonna kontekst
01.AI avaldas Yi-1.5 seeria oma algsete Yi-mudelite täiustatud versioonina. Teenusepakkuja mudelidokumentatsiooni kohaselt eeltreeniti perekonda täiendavalt 500 miljardi märgi ulatuses ning peenhäälestati 3 miljoni mitmekesise näidisega. 01.AI esitleb seeriat algsete Yi-mudelitega võrreldes täiustatud koodikirjutamise, matemaatika, arutlusoskuse, juhiste järgimise, keele mõistmise, üldteadmistele tugineva arutlemise ja lugemismõistmise valdkonnas.
Neid kogu perekonda puudutavaid väiteid ei tohiks tõlgendada garantiina, et Yi-1.5-6B alusmudel käitub viimistletud assistendi moodi. Juhiste järgimine sõltub mudelivariandist ja võimalikust täiendavast peenhäälestusest. Vestlusrakenduste jaoks võib vestluseks häälestatud sõsarmudel olla sobivam; kohandamiseks ja alusmudeliga töötamiseks on asjakohasem baasversioon.
Tehnilised andmed
| Tehniline näitaja | Kontrollitud detail |
|---|---|
| Teenusepakkuja | 01.AI |
| Avaldamiskuupäev | 13. mai 2024 |
| Mudeli suurus | Ligikaudu 6 miljardit parameetrit |
| Mudeli tüüp | Põhjuslik keelemudel, baasversioon |
| Konteksti seadistus | 4096 maksimaalset positsioonimanust |
| Sisend | Tekst |
| Väljund | Genereeritud tekst |
| Kaalud | Allalaaditavad BF16 safetensors-failid |
| Litsents | Apache 2.0 |
Avaldatud konfiguratsioon kasutab Llama-ühilduvat põhjusliku keelemudeli arhitektuuri ja 64 000 märgiga sõnavara. Dokumenteeritud 4096 märgi seadistus on kaasasoleva kontrollpunkti asjakohane kontekstilimiit. See piirang hõlmab mudeli seadistatud positsioonimahtu; seda ei tohiks segi ajada eraldi reklaamitud maksimaalse väljundipikkusega, mida 01.AI kaasasolevas uurimismaterjalis täpsustanud ei ole.
Võimekus ja praktilised kompromissid
Yi-1.5-6B on mõeldud teksti genereerimiseks ning seda saab kasutada koodi kirjutamise, arutlemise, matemaatika, keele mõistmise ja lugemismõistmise ülesannete lähtepunktina. Teenusepakkuja kirjeldab neid Yi-1.5 perekonna täiustunud valdkondadena. Praktikas tuleks baasversiooni käsitleda mudelina, mille puhul võib olla vaja hoolikalt koostatud juhiseid või konkreetse ülesande jaoks kohandamist.
Selle peamine praktiline eelis on mudeli suuruse ja juhitavuse tasakaal. Kuue miljardi parameetriga kontrollpunkt vajab üldjuhul vähem ressursse kui sama perekonna suuremad avatud mudelid, kuigi tegelik mälukasutus sõltub täpsusest, jada pikkusest, pakktöötlusest ja käituskeskkonna lisakuludest. Kaasasolev uurimismaterjal toetab subjektiivset kiiruse hinnet 7 ja kulu hinnet 9, kuid need on toimetuslikud hinnangud, mitte teenusepakkuja avaldatud võrdlustulemused. Riistvara, kvantimine ja serveerimise konfiguratsioon võivad tulemust märkimisväärselt muuta.
Baasvorm on kasulik siis, kui arendaja soovib mudeli treenimist jätkata, rakendada juhendatud peenhäälestust või luua spetsialiseeritud teksti genereerimise töövoo. See on vähem mugav juhul, kui vaja on kohe pärast allalaadimist usaldusväärset juhiste järgimist.
Sisend, väljund ja toetamata funktsioonid
Yi-1.5-6B töötab ainult tekstiga. See võtab vastu teksti ja väljastab teksti; algupäraselt ei toeta see pilte, heli ega videot ning ei genereeri pildi-, heli- ega videoväljundit. Seetõttu ei tohiks seda valida multimodaalse rakenduse keskseks mudeliks.
Kaasasolevas mudeliteabes ei ole selle konkreetse kontrollpunkti puhul dokumenteeritud algupärast tööriista- ega funktsioonikutsete tuge, teenusepakkuja hallatavat veebiotsingut, struktureeritud väljundi API-t, viipade vahemällu salvestamist ega pakktöötluse API-t. Arendajad võivad lokaalserveri ümber ehitada rakendustaseme tööriistu, kuid see erineb mudeli sisseehitatud võimekusest või dokumenteeritud teenusepakkuja funktsioonist.
Ühilduvad serveerimiskeskkonnad, sealhulgas vLLM-il või SGLangil põhinevad juurutusviisid, võivad pakkuda voogedastust. Sellisel juhul on voogedastus serveerimisliidese omadus, mitte Yi-1.5-6B enda eraldi modaalsus.
Kuidas Yi-1.5-6B juurutada?
Mudelit levitatakse allalaaditavate kaaludena, mitte mudelina, mille kohta oleks avaldatud hostitud kasutuse märgipõhine hind. Ametlik dokumentatsioon toetab selle laadimist Hugging Face Transformersi abil, kasutades standardseid automaatse tokeniseerija ja põhjusliku keelemudeli klasse. Samuti kirjeldatakse juurutusviise vLLM-i ja SGLangi abil, mis võivad pakkuda levinud OpenAI-laadsete kliendimustritega ühilduvaid kohalikke HTTP-lõpp-punkte.
See annab arendajatele mitu kontrollitaset. Transformers sobib otseseks katsetamiseks ja kohandatud Pythoni töövoogudeks. Serveermiskeskkond, näiteks vLLM või SGLang, on sobivam siis, kui rakendus vajab püsivat lokaalset lõpp-punkti, päringute haldamist või voogedastust. Kasutada võib ka Ollamat ja teisi kohalikke rakendusi kogukonna toetatud pakendamis- või kvantimistöövoogude kaudu, kuid kaasasolev uurimismaterjal ei kinnita ühtki ametlikku Ollama distributsiooni esmase väljalaskevorminguna.
Allalaaditava kontrollpunkti enda puhul ei rakendu korduvat tellimust ega märgipõhist hinda. Selle käitamisega kaasnevad siiski taristukulud, sealhulgas lokaalseks järeldamiseks vajaliku riistvara, salvestusruumi, elektri ja haldustöö kulud. Hostitud järeldusteenuse pakkuja võib kehtestada oma tasud, kuid kaasasolevas uurimismaterjalis ei ole selle konkreetse mudeli jaoks loetletud ühtki hostitud teenusepakkujat ega kontrollitud hinda.
Piirangud, millega arvestada
Kõige olulisem piirang on see, et Yi-1.5-6B on baasversioon, mitte vestluseks häälestatud mudel. Ilma täiendavate juhiste või peenhäälestuseta võib selle käitumine mitmevoorulises vestluses, juhiste järgimisel ja assistendilaadse vormingu kasutamisel olla vähem etteaimatav.
Selle 4096 märgi kontekstiseadistus piirab ka seda, kui palju sisendit ja vestlusajalugu saab ühe päringuga edastada. Pikad dokumendid, ulatuslik vestlusajalugu või suured otsingu abil hangitud kontekstid võivad vajada kokkuvõtmist, osadeks jagamist või mitmes etapis töötlemist.
01.AI ei ole selle konkreetse kontrollpunkti kohta avaldanud kontrollitud teadmiste lõppkuupäeva. Seetõttu tuleks eeldada, et mudel sisaldab üksnes ajaloolisi treeningandmetel põhinevaid teadmisi. Sellel ei ole dokumenteeritud sisseehitatud veebiotsingut ning ei saa eeldada, et see teab jooksvaid sündmusi, muutuvat tooteteavet või hiljuti uuendatud fakte. Kui värskus on oluline, on asjakohased otsing, välised andmeallikad ja rakendustaseme valideerimine.
Samuti ei ole mudelil kaasasoleva spetsifikatsiooni kohaselt algupärast pildi-, heli- ega videomõistmist. Visuaalset sisendit, kõnetöötlust või meedia genereerimist vajavad rakendused peaksid selle asemel kasutama nende modaalsuste jaoks loodud mudelit.
Millal valida Yi-1.5-6B?
Yi-1.5-6B on mõistlik valik, kui olulised on järgmised prioriteedid:
- Kohalik juurutus: Soovite allalaaditavaid kaalusid ja kontrolli selle üle, kus järeldamine toimub.
- Väiksemad ressursinõuded: Eelistate suurematele, rohkem mälu või arvutusvõimsust vajavatele mudelitele väiksemat kontrollpunkti.
- Kohandamine: Plaanite baasversiooni konkreetse domeeni või töövoo jaoks peenhäälestada või kohandada.
- Avatud litsents: Apache 2.0 litsents sobib projektidele, mis vajavad selgelt määratletud lubavat litsentsi, tingimusel et kavandatud kasutuse puhul vaadatakse litsentsitingimused üle.
- Teadustöö ja prototüüpimine: Vajate katseteks kättesaadavat alusmudelit, mitte valmis tarbijatele mõeldud assistenti.
Kui peamine nõue on usaldusväärne juhiste järgimine ilma täiendava treenimiseta, võib sobivam olla mõni teine valik. Sellisel juhul on eraldi Yi-1.5-6B-Chat-mudel või mõni muu juhiste järgi häälestatud mudel loomulikum võrdlusvariant. Nõudliku arutlemise, keerukate agenditöövoogude või kvaliteetsema koodikirjutamise jaoks võib eelistada ka suuremat mudelit, kui lisanduv arvutuskulu on vastuvõetav. Värsket teavet nõudvate ülesannete puhul sobib paremini mudel, mis on ühendatud otsingu või veebitööriistadega. Pildi- või muu meediatöövoo jaoks on vaja algupäraselt multimodaalset mudelit.
Üldhinnang
Yi-1.5-6B-d tuleks eelkõige mõista kompaktse allalaaditava alusmudelina, mitte täieliku hostitud AI-assistendina. Selle ligikaudu 6 miljardi parameetriga mudel, Apache 2.0 litsents, BF16-kaalud, 4096 märgi konfiguratsioon ja tugi levinud kohalikele serveerimistööriistadele muudavad selle kasulikuks ise hostitavates teksti genereerimise projektides ja mudeli kohandamisel.
Selle kompromiss on sama selge: mudel töötab ainult tekstiga, selle algupärase tööriista- ega veebiotsingu funktsioone ei ole dokumenteeritud, avaldatud teadmiste lõppkuupäev puudub ning vaikimisi ei ole mudel juhiste järgi häälestatud. Arendajatele, kes hindavad juurutuse kontrolli, kohandatavust ja käitamiskulusid, võib see tasakaal olla atraktiivne. Kasutajad, kes soovivad eelkõige viimistletud vestlust, värsket teavet, multimodaalset sisendit või keerukat tööriistakasutust, peaksid valima spetsialiseerituma lahenduse.