Mis on OpenAI o1-mini?
OpenAI o1-mini on OpenAI kompaktne arutlusmudel, mis avaldati 12. septembril 2024. See töötati välja OpenAI o1 kiirema ja odavama alternatiivina, keskendudes eelkõige matemaatikale, teadusele, programmeerimisele ja muudele ülesannetele, mille puhul on kasulik enne vastuse andmist läbida mitu mõtlemisetappi.
Erinevalt tavapärasest tekstigeneratsiooni mudelist, mis võib vastata kohe, kasutab arutlusmudel enne vastamist probleemi analüüsimiseks täiendavat järeldusaegset töötlust. Praktikas on o1-mini mõeldud selliste küsimuste jaoks nagu algoritmi kavandamine, matemaatikaülesande lahendamine, teaduskontseptsiooni selgitamine, koodi ülevaatamine või programmeerimisvea põhjuse tuvastamine.
Mudel ei ole universaalne asendus kõigi keeleülesannete jaoks. OpenAI esitatud uuringud näitavad, et üldistes fakti-, ajaloo-, biograafia- ja keelekesksetes ülesannetes on selle jõudlus nõrgem kui STEM-valdkonna probleemides. Mudeli teadmiste lõpptähtaeg on 1. oktoober 2023, mistõttu peavad värsket teavet vajavad rakendused selle teabe eraldi edastama või kasutama teistsugust mudelit ja otsingulahendust.
O1-mini koht OpenAI mudelivalikus praegu
o1-mini kuulub OpenAI o1 arutlusmudelite perekonda. Algselt oli selle eesmärk selge: pakkuda suuremat osa o1 arutluspõhisest kasulikkusest väiksemate kasutuskuludega, leppides samal ajal kitsamate võimete ja vähemate üldteadmistega.
See positsioon on muutunud, sest OpenAI märgib o1-mini praegu aegunuks. Teenusepakkuja soovitab uuema alternatiivina mudelit o3-mini, mille arukus on suurem, kuid loetletud latentsus ja hind samad. See ei tähenda, et kõik olemasolevad o1-mini integratsioonid muutuksid kasutuskõlbmatuks, kuid uute juurutuste puhul tuleks enne vanema mudeli kasutamisele pühendumist hinnata soovitatud järglast.
Ka dokumenteeritud hetktõmmis o1-mini-2024-09-12 on märgitud aegunuks. Seetõttu tuleks enne uue tootmissüsteemi rajamist selle ümber kontrollida saadavust ja jätkuvat juurdepääsu OpenAI praegusest mudelidokumentatsioonist.
Põhispetsifikatsioonid ja piirangud
OpenAI dokumentatsiooni kohaselt on o1-mini kontekstiakna suurus 128 000 tokenit. Kontekstiaken on päringus ja seda ümbritsevas vestluses sisalduva teksti koguhulk, mida mudel saab arvesse võtta, arvestades API konkreetseid päringu- ja väljundireegleid. Suur kontekst võib olla kasulik lähtekoodirepositooriumide, pikkade matemaatikaülesannete, tehniliste dokumentide või ulatuslike silumisessioonide puhul.
Maksimaalseks väljundiks on märgitud 65 536 tokenit. See on ülempiir, mitte soovitus, et iga vastus peaks olema nii pikk. Enamiku kodeerimis- ja analüüsiülesannete puhul peaksid rakendused latentsuse ja kulude kontrollimiseks siiski määrama ülesandele sobiva väljundi suuruse.
| Spetsifikatsioon | Dokumenteeritud väärtus |
|---|---|
| Teenusepakkuja | OpenAI |
| Mudeliperekond | o1 |
| Väljalaskekuupäev | 12. september 2024 |
| Olek | Aegunud |
| Kontekstiaken | 128 000 tokenit |
| Maksimaalne väljund | 65 536 tokenit |
| Teadmiste lõpptähtaeg | 1. oktoober 2023 |
| Sisend ja väljund | Ainult tekst |
| Voogedastus | Toetatud |
| Pakktöötlus | Toetatud |
| Peenhäälestus | Ei ole toetatud |
Arutlemine, matemaatika ja kodeerimine
o1-mini peamine eelis on spetsialiseerumine. See on loodud probleemide jaoks, mille puhul on arutlusprotsessi kvaliteet olulisem kui lai vestluslik katvus. Sobivate näidete hulka kuuluvad matemaatilise lahenduse tuletamine või kontrollimine, algoritmi kavandamine, nõuete teisendamine koodiks, funktsiooni silumine ning tehnilise lähenemise õnnestumise või ebaõnnestumise selgitamine.
OpenAI teatas tugevatest tulemustest matemaatikas, võistlusprogrammeerimises, teaduslikus arutlemises ja küberturvalisuse capture-the-flag-ülesannetes. Käivitamisel viidatud Codeforcesi hindamises teatas OpenAI Elo reitinguks 1650. Samuti teatas ettevõte AIME matemaatikatulemuseks 70 protsenti. Need on teenusepakkuja avaldatud hindamistulemused, mitte iga päringu või rakenduse garantiid, ning neid ei tohiks käsitleda tootluskeskkonna jõudluse otsese prognoosina.
Kodeerimisel võib o1-mini olla kasulik valik siis, kui ülesanne nõuab hoolikat arutlemist, kuid ei eelda, et mudel vaataks pilte, kutsuks väliseid tööriistu või hangiks värsket teavet. Näiteks sobib see üksikasjaliku spetsifikatsiooni põhjal teostuse genereerimiseks, testjuhtumite pakkumiseks, tekstipõhises koodinäites vea jälitamiseks või algoritmiliste lähenemiste võrdlemiseks.
Spetsialiseerumisega kaasneb kompromiss. Arutlusmudel võib olla keeruka algoritmi või mitmeastmelise tõestuse jaoks sobivam kui odavam üldine tekstimudel, kuid o1-mini ei pruugi olla parim valik üldiste faktiliste küsimuste, päevakajaliste sündmuste, avatud uurimistöö või väliste teenustega loomulikku suhtlust nõudvate ülesannete puhul.
Hinnakujundus ja kulukompromissid
OpenAI esitatud mudelidokumentatsioonis on API hinnad järgmised:
- Sisend: 1,10 dollarit miljoni tokeni kohta
- Puhverdatud sisend: 0,55 dollarit miljoni tokeni kohta
- Väljund: 4,40 dollarit miljoni tokeni kohta
Sisendtokenid on mudelile saadetav tekst ja muu toetatud päringu sisu, väljundtokenid aga genereeritud vastus. Väljund on tavalisest sisendist kallim, mistõttu võivad pikad arutlusvastused kogukulu märkimisväärselt suurendada. Puhverdatud sisendi hind võib korduva sisendi korral kulusid vähendada, kui API puhverdamise tingimused on täidetud.
Need hinnad olid osa o1-mini kulutõhusast positsioneerimisest ning neid esitati oluliselt madalamatena kui suurema o1 mudeli vastavaid hindu. Uue juurutuse otsust ei tohiks siiski teha ainult hinna põhjal, sest mudel on aegunud. Uuem mudel võib pakkuda paremaid võimeid, tööriistatuge või pikemat kasutusiga ka siis, kui selle hinnastruktuur erineb.
Toetatud sisend, väljund ja API-funktsioonid
o1-mini võtab vastu teksti ja toodab teksti. See ei toeta pildi-, heli- ega videosisendit ning ei genereeri otse pilte, heli ega videot. Süsteem, mis vajab piltide mõistmist, kõnetöötlust, videoanalüüsi või meedia genereerimist, peab kasutama teist mudelit või täitma need ülesanded eraldi komponentide abil.
Mudel toetab voogedastust, mis võimaldab rakendusel saada genereeritud teksti järk-järgult, selle asemel et oodata täielikku vastust. Samuti toetab see sobivate asünkroonsete töökoormuste jaoks Batch API-t. Esitatud dokumentatsiooni kohaselt on mudel saadaval OpenAI API-liideste, sealhulgas Chat Completionsi, Responsesi ja Batchi kaudu.
Mitu integratsioonifunktsiooni pole otseselt saadaval. o1-mini ei toeta funktsioonikutseid, struktureeritud väljundeid ega peenhäälestust. Funktsioonikutsed võimaldaksid mudelil taotleda rakenduse määratud tööriistadelt toimingute tegemist, struktureeritud väljundeid kasutatakse aga vastuste piiramiseks kindla skeemi järgi. Nende võimete puudumise korral peavad arendajad tööriistade koordineerimise ja vastuste valideerimise korraldama mudelist väljaspool, kasutades tavalist tekstisuhtlust ja rakendusepõhiseid kontrolle.
Olulised piirangud
- Aegunud olek: OpenAI märgib nii o1-mini kui ka selle dokumenteeritud hetktõmmise praegu aegunuks.
- Ainult tekstipõhine töö: Mudel ei saa otse töödelda pilte, heli ega videot.
- Funktsioonikutsed puuduvad: See ei saa mudeli API kaudu ametlikult rakenduse tööriistu käivitada.
- Struktureeritud väljundid puuduvad: See ei paku dokumenteeritud skeemipõhise väljundi funktsiooni.
- Peenhäälestus puudub: Esitatud spetsifikatsioonides ei ole peenhäälestuse tuge loetletud.
- Piiratud ajakohasus: Mudeli teadmiste lõpptähtaeg on 1. oktoober 2023 ning mudelil puudub sisseehitatud veebiotsingu võimekus.
- Piiratumad üldteadmised: OpenAI kirjeldab mitte-STEM-valdkonna faktiteadmiste puhul nõrgemat jõudlust kui mudeli kavandatud arutlusülesannetes.
Need piirangud on rakenduse kavandamisel olulised. Näiteks suudab ainult tekstipõhine kodeerimisassistent endiselt üle vaadata kleebitud koodinäite, kuid ei saa algupäraselt uurida veateate ekraanipilti. Töövoog, mis peab tagastama garanteeritud JSON-väljad, ei saa tugineda struktureeritud väljunditele ning vajab välist valideerimist ja taasteloogikat.
Millal valida o1-mini?
o1-mini võib endiselt sobida olemasoleva integratsiooni või kontrollitud töökoormuse jaoks, kus selle konkreetsed kompromissid on vastuvõetavad. Kaaluge seda juhul, kui ülesanne on peamiselt tekstipõhine, nõuab palju arutlemist ning on seotud matemaatika, teaduse, algoritmilise programmeerimise, silumise või tehnilise analüüsiga. Selle suhteliselt madalad loetletud tokenihinnad võivad olla kasulikud siis, kui töödelda tuleb suurt hulka selliseid päringuid ja rakendus ei vaja tööriistu ega multmimaalset sisendit.
See võib olla mõistlik valik ka siis, kui suur kontekst on kasulik. 128 000 tokeni suurune kontekstiaken võimaldab rakendusel edastada palju teksti, kuigi olulised on endiselt kulu, latentsus ja viiba kvaliteet. Suur kontekst ei muuda mudelit automaatselt sobivaks värske teabe uurimiseks või üldiste teadmiste ülesanneteks.
Millal võib muu valik olla parem?
Uuem arutlusmudel on uue juurutuse jaoks sobivam lähtekoht, kui oluline on toote jätkuv tugi ja ajakohastatud võimekus. OpenAI soovitab o1-mini uuema alternatiivina konkreetselt o3-mini mudelit, kirjeldades seda suurema arukusega mudelina, mille loetletud latentsus ja hind on samad.
Eelistada võib ka teistsugust mudelitüüpi. Valige multimodaalne lahendus, kui rakendus vajab pildi-, heli- või videosisendit. Valige tööriistatoega mudel, kui süsteem peab kutsuma funktsioone, hankima teavet või suhtlema väliste teenustega ametliku liidese kaudu. Valige struktureeritud väljundite tuge pakkuv mudel, kui järgnev tarkvara sõltub skeemipiirangutega vastustest. Üldiste, ajakohaste või mitte-STEM-valdkonna küsimuste puhul võib sobivama teadmistekatvuse ja otsingutoega mudel anda usaldusväärsemaid tulemusi.
Praktiline küsimus ei ole seega lihtsalt selles, kas o1-mini on odav. Küsimus on selles, kas selle tekstipõhine STEM-valdkonna arutlusvõime on vaatamata aegunud staatusele ja uuemates süsteemides tavapäraselt nõutavate integratsioonifunktsioonide puudumisele säilitamist väärt.
Üldhinnang
OpenAI o1-mini on keskendunud arutlusmudel, mitte üldotstarbeline multimodaalne assistent. Selle tugevaim kasutusjuht on kulutundlik tekstipõhine töö, mis hõlmab matemaatikat, teadust, kodeerimist ja teadlikku mitmeastmelist analüüsi. 128 000 tokeni suurune kontekstiaken, 65 536 tokeni suurune väljundipiirang, voogedastus ja pakktöötluse tugi pakuvad API-töökoormuste jaoks kasulikku paindlikkust.
Otsustavaks tingimuseks on mudeli olek. OpenAI märgib o1-mini nüüd aegunuks ja soovitab uuemate kasutusjuhtude jaoks o3-mini mudelit. Olemasolevad süsteemid võivad o1-mini puhul endiselt väärtust leida, kui selle hind ja STEM-valdkonna spetsialiseerumine sobivad, kuid uued projektid peaksid soovitatud asendust hoolikalt võrdlema ja enne sellele mudelile tuginemist kontrollima selle praegust saadavust.