Mis on babbage-002?
babbage-002 on kergekaaluline OpenAI GPT-3 baastasemel keelemudel teksti jätkamiseks. Viiba põhjal ennustab see jätku, milleks võib olla loomulik keel või kood. OpenAI tutvustas seda 22. augustil 2023 algsete GPT-3 ada- ja babbage-mudelite asendusena.
Sõna baastasemel on siin oluline. Erinevalt juhiste järgi häälestatud vestlusmudelist ei õpetatud babbage-002 mudelit usaldusväärselt tõlgendama selliseid päringuid nagu „tee sellest kokkuvõte” või „kirjuta ametlik e-kiri”. Arendajad peavad tavaliselt viipasid hoolikalt kujundama, kasutama eraldajaid ja peatamisjärjendeid või rakendama mudeli peenhäälestust, et muuta konkreetne tekstijätkamise töövoog prognoositavaks. Seetõttu kuulub see pigem viiba ja lõpetuse süsteemide vanemasse põlvkonda kui tänapäevaste vestlus- ja agendimudelite kategooriasse.
OpenAI pakub babbage-002 mudelit oma pärandfunktsiooniga Completions API kaudu. Selle peamine roll on toetada rakendusi, mis sõltuvad juba lõpetuspõhisest käitumisest, mitte olla uuemate OpenAI mudelite üldine asendus.
Võimekus ja tehniline profiil
babbage-002 võtab vastu teksti ja väljastab teksti. Tekstiväljund võib sisaldada koodi, mistõttu võib mudel olla kasulik lihtsate jätkamis- või genereerimisülesannete puhul, kus rakendus juhib viiba vormingut. Mudel ei võta vastu pilte, heli ega videot ning ei genereeri otse mittetekstilist meediat.
| Spetsifikatsioon | Uuringuandmetel põhinev teave |
|---|---|
| Pakkuja | OpenAI |
| Mudelite perekond | GPT-3 |
| Mudeli tüüp | Kergekaaluline baastasemel keelemudel |
| Sisend | Ainult tekst |
| Väljund | Ainult tekst |
| Teadmiste lõppkuupäev | 1. september 2021 |
| Dokumenteeritud maksimaalne väljund | 16 384 tokenit |
| Kontekstiaken | Esitatud mudeliteabes ei ole seda eraldi dokumenteeritud |
| Peamine API | Pärandfunktsiooniga Completions API |
Teadmiste lõppkuupäev 1. september 2021 tähendab, et baasmudelit ei tohiks käsitleda ajakohaste faktide allikana. Mudelil ei ole esmapoole veebotsingut ega muud dokumenteeritud otsingufunktsiooni, mis seoks vastused automaatselt uuema teabega. Värsket teavet vajavad rakendused peaksid selle esitama oma töövoo kaudu, kuigi esitatud dokumentatsioon ei kirjelda babbage-002 jaoks tänapäevast tööriistade abil teabe sidumise liidest.
API funktsioonid ja piirangud
babbage-002 toetab suhteliselt piiratud hulka API võimalusi. Esitatud mudelidokumentatsioonis ei ole voogedastust, funktsioonikutseid, struktureeritud väljundeid ega prognoositud väljundeid toetatud funktsioonidena loetletud. Samuti ei ole dokumenteeritud tänapäevaste toimingute tegemise ega tööriistade kasutamise funktsioonide tuge.
Need piirangud mõjutavad rakenduse ülesehitust. Tänapäevane vestlus- või agendisüsteem võib sageli paluda mudelil kutsuda funktsiooni, tagastada piirangutega määratud objekt või edastada kasutajale väljundit osade kaupa. babbage-002 puhul peaksid arendajad käsitlema tulemust tavalise genereeritud tekstina ning rakendama analüüsi, valideerimise, juhtimisloogika ja väliste toimingute funktsioonid väljaspool mudelit.
OpenAI praeguse teabe kohaselt on mudelil olemas pakettöötluse kasutamise võimalus. Peenhäälestus nõuab täiendavat ettevaatlikkust: uusi babbage-002 peenhäälestuse treeningkäivitusi ei ole alates 28. oktoobrist 2024 toetatud, samal ajal kui olemasolevaid ühilduvaid peenhäälestatud mudeleid käsitleti aegumiseeskirja alusel eraldi. Seetõttu ei tohiks „peenhäälestust” tõlgendada võimalusena alustada selle mudeliga uut treeninguprojekti.
Hind, kiirus ja võimekuse kompromissid
Loetletud baasmudeli hind on 0,40 dollarit 1 miljoni sisendtokeni ja 0,40 dollarit 1 miljoni väljundtokeni kohta. Madal tokenihind on üks babbage-002 selgemaid praktilisi eeliseid olemasoleva töökoormuse puhul, mis sobib juba selle lõpetuspõhise käitumisega.
Esitatud toimetuslikus hinnangus saab mudel kiiruse eest 7 punkti 10-st ja hinna eest 8 punkti 10-st. Need on hindamistulemused, mitte OpenAI avaldatud skoorid. Need näitavad eeldatavat kompromissi: babbage-002 on suhteliselt odav ja kergekaaluline, kuid madalama hinna ja kiiruse kõrval kaasneb sellega märksa vähem võimekust kui uuematel juhiseid järgivaid mudeleid. Uuringus hinnatakse selle arutlusvõimet 2 punktiga 10-st ja kodeerimisvõimet 3 punktiga 10-st; ka need on toimetuslikud hinnangud, mitte standardiseeritud võrdlustestide tulemused ega pakkuja väited.
Kulusid tuleks seega hinnata kogu rakenduse, mitte ainult tokenihinna põhjal. Odav mudel, mis vajab keerukat viipade kujundamist, kohandatud väljundianalüüsi või eraldi juhtkihti, võib uue süsteemi jaoks olla vähem sobiv kui võimekam mudel. Samal ajal võib toimiva pärandfunktsiooniga tekstijätkamise töövoo üleviimine tekitada rohkem arendustööd kui babbage-002 kasutamise jätkamine selle allesjäänud saadavaloleku perioodil.
Staatus ja kasutuse lõpetamise kuupäev
OpenAI märgib babbage-002 aegunuks ning on teatanud, et juurdepääs baasmudelile suletakse 28. septembril 2026. Esitatud uuringus soovitatakse asendusena gpt-5.6-terra mudelit, kuid selles ei ole nende kahe mudeli võimekust ega hindu üksikasjalikult võrreldud.
Sulgemiskuupäeva tõttu on olelusrisk babbage-002 praegusel hindamisel keskne probleem. Mudel võib olla endiselt asjakohane lühiajaliseks hooldustööks või väljakujunenud käitumise jäljendamiseks, kuid see on halb alus uuele tootmisteenusele, mis peaks töötama pärast teatatud kasutuse lõpetamise kuupäeva. Mudelit kasutavad meeskonnad peaksid määrama kindlaks ülemineku sihtmudeli, katsetama viipade ja väljundite erinevusi ning vältima praeguse saadavaloleku käsitlemist pikaajalise garantiina.
Millal valida babbage-002?
Vali babbage-002 ainult siis, kui selle pärandkäitumine on ise nõude osa. Sobivad kasutusjuhud on järgmised:
- Rakenduse hooldamine, mis kasutab juba pärandfunktsiooniga Completions API-t.
- Kontrollitud teksti või koodijätkude genereerimine hoolikalt kujundatud viipade põhjal.
- Ajaloolise GPT-3 baasmudeli käitumise taastamine ühilduvuse või hindamise eesmärgil.
- Olemasoleva ühilduva peenhäälestatud babbage-002 tuletise kasutamine ajal, mil kavandatakse üleminekut.
- Lihtsa suure mahuga tekstijätkamise töökoormuse käitamine, mille puhul dokumenteeritud tokenihind on oluline ja tänapäevaseid API-funktsioone pole vaja.
Enne mudeli valimist veendu, et rakendus ei vajaks juhiste järgimist, ajakohaseid teadmisi, multimodaalset sisendit, struktureeritud vastuseid, funktsioonikutseid, voogedastust ega pikka tugiperioodi. Mudeli dokumenteeritud maksimaalne väljund on 16 384 tokenit, kuid esitatud uuringus ei ole eraldi kontekstiakna suurust toodud. Seetõttu ei tohiks nõudliku viiba ja väljundi kogumahuga süsteemid eeldada dokumenteeritust suuremat kasutatavat konteksti.
Millal on mõni muu valik sobivam?
Uuem juhiseid järgiv mudel sobib paremini rakendustele, mis vajavad loomulikus keeles ülesannetele usaldusväärseid vastuseid, vestluslikku suhtlust, keerukat arutlemist või selgete nõuete põhjal juhitud koodi genereerimist. Tööriistu toetav mudel sobib paremini agentidele, kes peavad kutsuma funktsioone või suhtlema väliste süsteemidega. Multimodaalne mudel on vajalik siis, kui sisend või väljund sisaldab pilte, heli või videot.
Isegi ainult tekstiga töötades võib uuem mudel olla eelistatav, kui rakendus vajab struktureeritud väljundit, voogedastust, veebist pärineva teabega seotud vastuseid või jätkuvat saadavalolekut pärast 2026. aasta septembrit. babbage-002 madal hind ei korva uue süsteemi puhul kasutuse lõpetamise riski ning 2021. aasta septembrisse jääv teadmiste lõppkuupäev muudab selle sobimatuks ajakohase teabe iseseisvaks allikaks.
Kokkuvõte
babbage-002 on kõige õigemini mõistetav odava ühilduvusmudelina, mitte tänapäevase üldotstarbelise OpenAI mudelina. See suudab pärandfunktsiooniga Completions API kaudu viipade põhjal teksti või koodi jätkata ning võib jääda kasulikuks olemasolevatele süsteemidele, mis sõltuvad selle käitumisest. Samas on see ainult tekstipõhine, juhiste järgi häälestamata, API-funktsioonide poolest piiratud, aegunud teadmistega ning selle kasutamine lõpetatakse 28. septembril 2026. Uued projektid peaksid üldjuhul kasutama praegu toetatud mudelit, mille võimekus ja kasutusiga vastavad rakenduse vajadustele.