Mis on DBRX Instruct?
DBRX Instruct on Databricksi juhiste järgi häälestatud suur keelemudel. Juhiste järgi häälestamine tähendab, et mudelit kohandati kasutajate päringutele vastamiseks, mitte lihtsalt dokumendis järgmise märgi ennustamiseks. Praktikas on see mõeldud viipade järgimiseks, küsimustele vastamiseks, teksti genereerimiseks ja programmeerimisülesannete abistamiseks.
See kuulub DBRX-i mudeliperekonda ja erineb mudelist DBRX Base, mis on sellele vastav baasmudel. Databricks avaldas DBRX Instructi 2024. aasta märtsis avatud kaaludega mudelina Databricks Open Model License'i alusel, millele kehtib seotud lubatud kasutuse eeskiri. Seetõttu saab mudeli alla laadida ja ühilduva taristuga juurutada, selle asemel et piirduda varalise majutatud kasutajaliidesega.
DBRX Instruct on eelkõige mõeldud tehnilistele meeskondadele, teadlastele ja organisatsioonidele, kes soovivad suuremat kontrolli mudeli majutamise, andmekäitluse, peenhäälestuse või teenindustaristu üle. See ei ole tarbijatele mõeldud vestlusroboti toode ega praegu uus Databricksi hallatav kasutuspõhine tasulise päringu lõpp-punkt.
Arhitektuur ja kontekstiaken
DBRX Instruct kasutab ainult dekooderiga transformeri arhitektuuri, milles rakendatakse ekspertide segu ehk MoE-disaini. Mudel sisaldab kokku 132 miljardit parameetrit, kuid iga sisendmärgi puhul on aktiivsed ligikaudu 36 miljardit parameetrit. See võimaldab mudelil kasutada suurt parameetrite kogumit, ilma et iga märgi korral käivitataks kõik parameetrid, kuigi kogu kontrollpunkt ja järeldussüsteem vajavad endiselt märkimisväärseid ressursse.
Mudelil on 16 eksperti ja iga märgi jaoks valitakse neist neli. Arhitektuur hõlmab ka rühmitatud päringuga tähelepanu, pöörlevaid positsioonikodeeringuid ja väravastatud lineaarüksusi. Databricksi andmetel treeniti mudelit 12 triljoni teksti- ja koodimärgiga. Selle maksimaalne konteksti pikkus on 32 768 märki, mis võimaldab toetatud juurutustes kasutada umbes 32 000 märgist koosnevat viipa ja vestlusajalugu.
Esitatud mudelidokumentatsioon ei täpsusta mudelipõhist teadmiste lõppkuupäeva ning kättesaadavad uuringud ei määra kindlaks väljundmärgiste maksimaalset arvu. Seetõttu võib väljundi maht sõltuda teeninduslahendusest ja allesjäänud kontekstiruumist, mitte kinnitatud universaalsest piirangust.
Võimekus ja toetatud modaalsused
DBRX Instruct töötab ainult tekstiga. See võtab vastu tekstisisendi ja tagastab tekstiväljundi; see ei võta algupäraselt vastu pilte, heli ega videot ning ei genereeri pilte, kõnet, muusikat ega videot. Seetõttu sobib see keele- ja programmeerimistöövoogudesse, kuid mitte multimodaalsete dokumentide tõlgendamiseks või meedia genereerimiseks ilma täiendavate mudelite ja töötlemissüsteemideta.
Selle kavandatud ülesannete hulka kuuluvad üldine ingliskeelsetele küsimustele vastamine, juhiste järgimine, kokkuvõtete tegemine, mustandite koostamine, teksti teisendamine ja koodi genereerimine. Databricks nimetab toetatud kasutusjuhuna ka programmeerimisabi. Mudelit treeniti teksti ja koodiga, kuid see ei tähenda, et mudel suudaks koodi käivitada või kontrollida genereeritud programmide toimivust.
Databricksi mudelidokumentatsiooni kohaselt ei paku DBRX-i mudelid algupärast funktsioonikutset ega koodi käivitamist. Juurutuse saab rakenduse koodi kaudu väliste tööriistadega ühendada, kuid mudelit ennast ei tohiks käsitleda sisseehitatud funktsioonitoega tööriistu kasutava agendina. Ka algupärast struktureeritud väljundi või JSON-režiimi tuge ei ole esitatud uuringute põhjal kinnitatud.
Arutlus, kodeerimine, kiirus ja kulude kompromissid
DBRX Instruct suudab teha tavapärast mitmeastmelist keelelist arutlust ning on kasulik küsimuste osadeks jaotamisel, selgituste koostamisel ja nõuete teisendamisel tekstiks või koodiks. Seda ei ole siiski dokumenteeritud spetsiaalse arutlusmudelina ning kättesaadavad uuringud ei esita spetsiaalset arutlusrežiimi ega kontrollitud võrdlustulemusi. Seetõttu tuleks selle arutlusvõimet hinnata konkreetsete viipade ja töökoormuste põhjal, mis ostja jaoks olulised on.
Kodeerimine on üks selle tugevamaid praktilisi valdkondi. Mudel suudab genereerida tarkvaralõike, selgitada koodi, aidata juurutusi kavandada ja toetada silumisvestlusi. Kuna algupärane koodi käivitamine puudub, tuleb genereeritud koodi eraldi testida. Meeskonnad, kes vajavad integreeritud kodeerimisagenti, peaksid lisama käivitus- ja tööriistakihi või valima mudeli ja platvormi, mille sisseehitatud tööriistatuge on kontrollitud.
Selle lehe jaoks koostatud toimetuslik hinnang hindab kodeerimist soodsamalt kui arutlust ning annab kiirusele ja kuludele keskmise taseme hinnangu. Need on võrdlevad toimetuslikud hinnangud, mitte Databricksi avaldatud skoorid. Peamine praktiline kompromiss on mudeli suurus: DBRX Instructi MoE-disain vähendab ühe märgi kohta aktiivsete parameetrite arvu, kuid 132 miljardi parameetriga kontrollpunkti majutamine on väiksemate avatud kaaludega keelemudelitega võrreldes endiselt ressursimahukas. Kogukonna loodud kvantiseeritud versioonid võivad riistvaranõudeid vähendada, kuid need on tuletatud distributsioonid, mitte Databricksi kanooniline kontrollpunkt.
Juurutamine ja praegune kättesaadavus
DBRX Instructi saab kasutada enda hallatava või sõltumatult hallatava mudelina, kui käitaja tagab ühilduva järeldustarkvara, riistvara, seire ja salvestusruumi. Databricksi dokumentatsiooni kohaselt nõuab täpsel kujul juurutamine märkimisväärset mälumahtu ja mitme GPU-ga taristut. Täpsed nõuded sõltuvad täpsusest, pakettide suurusest, jada pikkusest, kvantiseerimisest ja teenindusplatvormist, mistõttu ei määra uuringud kindlaks üht universaalset riistvaranõuet.
Varem tegi Databricks DBRX Instructi kättesaadavaks Model Servingu ja Foundation Model API-de kaudu. Selle tasulise märgipõhise Foundation Model API kättesaadavus lõppes 30. aprillil 2025. Varustatud läbilaskevõimega teenindus lõppes 19. detsembril 2025. Seetõttu ei peaks uued kasutajad kavandama tööd praegu Databricksi majutatava DBRX Instructi lõpp-punkti ümber, ilma et nad kontrolliksid eraldi asendust või alternatiivset juurutusviisi.
Ajalooliselt olid märgipõhise kasutuse hinnad 10,714 DBU-d ühe miljoni sisendmärgi kohta ja 32,143 DBU-d ühe miljoni väljundmärgi kohta. Need olid kasutuspõhised hinnad, mitte tellimuse maksumus, ning neid ei tohiks tõlgendada praeguse kättesaadavuse ega hinnakirjana, sest asjaomane majutatud lõpp-punkt on kasutusest kõrvaldatud. Enda serverites majutamine toob kaasa teistsugused kulud, sealhulgas GPU-d, salvestusruumi, võrgu, inseneritöö ja käitamisega seotud kulud.
Peamised tugevused ja piirangud
- Avatud kaalude paindlikkus: Organisatsioonid saavad juurutust iseseisvalt hallata ning hinnata enda serverites majutamist või valdkonnaspetsiifilist kohandamist Databricks Open Model License'i alusel.
- Suur kontekst: 32 768 märgi suurune kontekstiaken toetab suhteliselt pikki juhiseid, dokumente ja kodeerimisvestlusi, kui teeninduslahendus kogu piiri kasutamiseks võimaluse annab.
- Tugev suunitlus kodeerimisele: Teksti ja koodiga treenimine muudab koodi genereerimise ja tarkvaraarenduse abistamise keskseteks kasutusjuhtudeks.
- Suur MoE-arhitektuur: Ligikaudu 36 miljardit aktiivset parameetrit märgi kohta võimaldavad selektiivsemat arvutusmustrit kui kogu 132 miljardi parameetri aktiveerimine iga märgi puhul.
- Suured taristunõuded: Täismudelit on väiksemate avatud kaaludega alternatiividega võrreldes märksa keerulisem majutada, eriti ilma kvantiseerimiseta.
- Algupärased tööriistad ja käivitamine puuduvad: Mudelidokumentatsiooni kohaselt ei ole funktsioonikutse ega koodi käivitamine sisseehitatud võimekused.
- Ainult tekstiga töötamine: Mudel ei suuda otse analüüsida pilte, heli ega videot ega luua tekstivälist meediat.
- Majutatud teenindus on lõpetatud: Databricksi dokumenteeritud Foundation Model API lõpp-punktid ei ole enam uute kasutajate jaoks praegune majutatud järelduse kasutusviis.
DBRX Instructi parimad kasutusjuhud
DBRX Instruct sobib kõige paremini siis, kui meeskond hindab eelkõige avatud kaaludega tekstipõhist mudelit ning tal on selle käitamiseks vajalik taristu või juurutuspartner. Sobivad kasutusjuhud on järgmised:
- Enda serverites majutatud ingliskeelsetele küsimustele vastamine ja teksti genereerimine
- Koodi kavandamine, selgitamine ja teisendamine ning tarkvaraarenduse abistamine
- Kokkuvõtete tegemine ja pika teksti töötlemine 32 000 märgi suuruse konteksti piires
- Privaatsed või sõltumatult hallatavad järelduskeskkonnad
- Valdkonnaspetsiifilised katsetused või peenhäälestus, kui litsents ja riistvaranõuded on vastuvõetavad
- Ekspertide seguga keelemudelite juurutamise uurimine
See sobib halvemini kergekaaluliseks isiklikuks vestlusrobotiks, pildi- või dokumendinägemise töövoogudesse, kõnerakendustesse, reaalajas meedia genereerimiseks või rakendustesse, mis vajavad sisseehitatud funktsioonikutset ja usaldusväärset koodi käivitamist. Väiksem tänapäevane avatud kaaludega mudel võib olla praktilisem, kui olulisemad on väike latentsus, väiksem GPU-kulu või lihtne juurutamine, mitte DBRX Instructi mastaap. Majutatud mudel, mida teenusepakkuja aktiivselt toetab, võib samuti olla eelistatavam, kui meeskond ei soovi järeldustaristut ise käitada.
Millal valida DBRX Instruct?
Vali DBRX Instruct siis, kui peamine vajadus on võimekas, ainult tekstiga töötav avatud kaaludega mudel enda hallatavate keele- või kodeerimistöökoormuste jaoks ning organisatsioon suudab toetada nõudlikku juurutust. Selle 132 miljardi parameetriga MoE-struktuur, 36 miljardi aktiivse parameetriga profiil ja 32 000 märgi suurune kontekst muudavad selle tehniliselt märkimisväärseks, kuid need omadused ei tähenda automaatselt, et see oleks iga rakenduse jaoks kiireim või odavaim valik.
Vali muu lahendus, kui vajad praegu toetatud Databricksi majutatud lõpp-punkti, multimodaalset sisendit, algupäraseid tööriistu, kontrollitud struktureeritud väljundit, koodi käivitamist või väiksemaid käitamisnõudeid. DBRX Instructi jätkuv väärtus seisneb peamiselt allalaaditavas kontrollpunktis ja sõltumatult hallatava juurutuse pakutavas kontrollis, mitte praeguse esimese osapoole API mugavuses.