Mis on OpenAI o1?
OpenAI o1 on OpenAI o-seeria arutlusmudel. Seda treeniti tugevdusõppe abil ning see on mõeldud keeruliste probleemide lahendamiseks täiendava järeldusaja arvutusvõimsuse kasutamisega. Praktikas on o1 suunatud ülesannetele, mille puhul on hoolikalt põhjendatud vastus olulisem kui võimalikult lühike vastamisaeg või väike tokenikulu.
Mudel sobib mitmeetapiliseks matemaatikaks, teaduseks, koodianalüüsiks, uurimistööks, tehniliseks tõlgendamiseks ja muudeks ülesanneteks, kus vastus sõltub mitme infokillu ühendamisest. Samuti suudab see analüüsida pilte, sealhulgas diagramme, ekraanipilte ning teaduslikke või tehnilisi dokumente.
OpenAI tutvustas tootmiskasutuseks mõeldud API-versiooni kui o1-preview täiustatud versiooni, lisades või parandades selliseid võimalusi nagu funktsioonikutseid, arendaja sõnumeid, Structured Outputs'i, nägemistuge ja väiksemat latentsust võrreldes eelversiooniga. Praegune kanooniline API alias viitab hetktõmmisele o1-2024-12-17. OpenAI praeguses mudelikataloogis on aga nii o1 kui ka see kuupäevaga hetktõmmis märgitud aegunuks.
Tehnilised andmed ja toetatud sisend- ning väljundviisid
o1 võtab vastu teksti- ja pildisisendeid ning genereerib teksti. See ei genereeri algupäraselt pilte, heli ega videot. Esitatud mudelidokumentatsiooni kohaselt ei toetata ka heli- ega videosisendit.
| Tehniline näitaja | Dokumenteeritud väärtus |
|---|---|
| Pakkuja | OpenAI |
| Mudelite perekond | o1 |
| Mudeli tüüp | Arutlusmudel |
| Kanooniline hetktõmmis | o1-2024-12-17 |
| Teadmiste lõppkuupäev | 1. oktoober 2023 |
| Kontekstiaken | 200 000 tokenit |
| Maksimaalne väljund | 100 000 tokenit |
| Sisend | Tekst ja pildid |
| Väljund | Tekst |
| Praegune staatus kataloogis | Aegunud |
Token on töötlemiseks ja arveldamiseks kasutatav tekstiühik; see võib olla terve sõna, sõnaosa, kirjavahemärk või mõni muu lühike tekstiosa. 200 000 tokeni suurune kontekstiaken mahutab pikki viipasid, lähtematerjali, koodi ja vestlusajalugu, samas kui 100 000 tokeni suurune väljundipiirang tähistab dokumenteeritud vastuse maksimaalset pikkust. Need on mahupiirangud, mitte garantii, et iga päring kasutab või vajab kogu saadaolevat mahtu.
Arutlemine, kodeerimine ja nägemisvõimekus
o1 peamine eesmärk on keeruline arutlemine. See on mõeldud probleemidele, mis nõuavad mitut analüüsietappi, mitte lühikest faktilist vastust. Näidetena võib tuua matemaatilise argumendi hindamise, teadusküsimuse lahendamise, tehniliste lähenemisviiside võrdlemise või keerulise programmi käitumise jälgimise.
Kodeerimisel on mudel kõige kasulikum ülesannetes, mis hõlmavad koodi mõistmist või analüüsimist: keerulise vea tuvastamisel, teostuse ülevaatamisel, komponentidevaheliste seoste selgitamisel, algoritmi kavandamisel või erijuhtude läbimõtlemisel. See suudab töödelda ka ekraanipilte ja muid pilte, mistõttu saab arendaja analüüsiks edastada liidese, diagrammi, veateate või tehnilise dokumendi visuaalse kujutise.
Kättesaadav uurimismaterjal annab o1-le toimetusliku kodeerimisskoori 8 punkti 10-st ja arutlusskoori 9 punkti 10-st. Need hinded on selle artikli andmemudeli jaoks tehtud hinnangud, mitte OpenAI avaldatud võrdlustestid või hinnangud. Kontrollitud tootevõimalused seisnevad selles, et o1 võtab vastu pildisisendit, tagastab teksti ja on dokumenteeritud arutlemisele suunatud ülesannete jaoks; seetõttu tuleks neid skoore käsitleda subjektiivse suunisena, mitte ametlike jõudlusmõõdikutena.
API võimalused ja struktureeritud vastused
OpenAI dokumentatsiooni kohaselt toetatakse funktsioonikutseid, Structured Outputs'i, voogedastust ja pakktöötlust.
- Funktsioonikutsed: Mudel võib paluda rakendusel kutsuda määratletud funktsiooni või tööriista. Funktsiooni täitmise ja tulemuse tagastamise eest vastutab ümbritsev rakendus.
- Structured Outputs: Rakendused võivad nõuda kindlat struktuuri järgivat väljundit, mis on kasulik juhul, kui tarkvara peab vastuseid töötlema.
- Voogedastus: Vastuseid saab edastada järk-järgult, selle asemel et oodata kogu vastuse valmimist.
- Pakktöötlus: Päringuid saab esitada pakktöötluseks mõeldud töökoormuste korral, kui kohesed interaktiivsed vastused ei ole peamine nõue.
Structured Outputs on esitatud dokumentatsioonis kinnitatud, kuid eraldi pärandlikku JSON-režiimi võimalust ei ole sõltumatult kinnitatud. Neid ei tohiks automaatselt käsitleda sama funktsioonina. Samuti ei kinnita esitatud uurimismaterjal o1 sisseehitatud veebioingu tuge, mistõttu vajaks ajakohase veebiteabe kasutamine ümbritsevas rakenduses välise andmehõive- või otsingusüsteemi olemasolu.
API hinnastamine
OpenAI dokumenteeritud API-hinnad o1 jaoks on järgmised:
| Kasutuse tüüp | Hind 1 miljoni tokeni kohta |
|---|---|
| Sisendtokenid | $15.00 |
| Vahemällu salvestatud sisendtokenid | $7.50 |
| Väljundtokenid | $60.00 |
Need on API-tokenite hinnad, mitte ChatGPT tellimuste hinnad. Väljundtokenid maksavad tavapärastest sisendtokenitest märgatavalt rohkem, mistõttu võivad o1-l väga pikkade vastuste genereerimist nõudvad rakendused tekitada suuri kasutuskulusid. Esitatud uurimismaterjalis on toimetuslik kuluskoor 3 punkti 10-st; see on võrdlev hinnang, mitte OpenAI avaldatud hinne.
Kulude kontrollimiseks edasta ülesande jaoks ainult vajalik kontekst, väldi tarbetult pikkade vastuste küsimist ning kaalu pakktöötlust juhul, kui selle töökorraldus sobib koormusega. Vahemällu salvestatud sisendi hind võib korduva lähtematerjali kulusid vähendada, kuid esitatud uurimismaterjal ei täpsusta vahemällu salvestamise tingimusi ega säilitamise käitumist.
Kiiruse ja kulude kompromissid
o1 seab keerulise arutlemise väikese latentsuse ees esikohale. Esitatud toimetuslik kiirusskoor on 4 punkti 10-st, arutlusskoor 9 punkti 10-st ja kuluskoor 3 punkti 10-st. Need on subjektiivsed hinnangud, kuid kirjeldavad peamist praktilist kompromissi: o1 võib olla põhjendatud siis, kui probleemi korrektne lahendamine on odavaima või kiireima vastuse saamisest olulisem.
Seda kompromissi tuleb tootmisrakenduse mudeli valimisel arvestada. Rutiinne kokkuvõtete tegemine, klassifitseerimine, lihtne andmete eraldamine või suure mahuga vestluskoormus ei pruugi vajada o1 arutlemisele suunatud võimekust. Keerukas koodiülevaatus, matemaatiline tuletus, teaduslik analüüs või mitmeetapiline planeerimisülesanne saab sellest tõenäolisemalt kasu. Selle lehe jaoks esitatud uurimismaterjal ei nimeta praegust aegumata sõsarmudelit ega esita võrdlevaid hindu, mistõttu ei saa siin täpset mudelitevahelist alternatiivi välja tuua.
Millal valida OpenAI o1
Vali o1 siis, kui ülesanne koosneb mitmest omavahel seotud etapist ning hoolikalt koostatud vastuse väärtus kaalub üles latentsuse ja tokenikulu. Sobivad kasutusjuhud on näiteks:
- Keeruline matemaatika ja formaalne probleemilahendus.
- Teaduslik arutlemine ja tehnilise materjali tõlgendamine.
- Üksikasjalik koodianalüüs, silumine ja algoritmide ülevaatus.
- Diagrammide, ekraanipiltide ja muude tehniliste piltide analüüs.
- Uurimistöövood, mis nõuavad suure edastatud konteksti korrastamist ja selle põhjal arutlemist.
- Tööriistatoega või agentpõhised töövood, millele on kasulikud funktsioonikutsed ja struktureeritud vastused.
Suur kontekstiaken võib olla kasulik siis, kui ülesanne hõlmab mahukat lähtematerjali, ulatuslikku koodilõiku või pikka vestlust. Konteksti piirang ei anna mudelile juurdepääsu teabele, mida talle ei ole edastatud: dokumenteeritud teadmiste lõppkuupäev on 1. oktoober 2023 ning esitatud uurimismaterjal ei kinnita sisseehitatud veebiotsingut.
Millal võib mõni muu lahendus sobivam olla
Mõni muu mudel või töövoog võib olla eelistatavam juhul, kui prioriteediks on väike kulu, suur läbilaskevõime või pidevalt kiire vastamine. o1 ei sobi hästi reaalajas heli töötlemiseks, piltide või videote genereerimiseks ega video- ja helisisu mõistmiseks, sest esitatud tehniliste andmete kohaselt neid sisend- ja väljundviise ei toetata. Samuti ei ole see loomulik valik ülesannete jaoks, mis nõuavad sisseehitatud ja ajakohast veebiteavet, välja arvatud juhul, kui lisatakse väline andmehõivesüsteem.
Mudeli aegunud staatus on veel üks oluline kaalutlus. OpenAI kuvab endiselt o1 dokumentatsiooni ja API tehnilisi andmeid, kuid praeguses kataloogis ei esitata seda aktiivse ega aegumata mudelina. Enne uue pika kasutuseaga integratsiooni alustamist kontrolli pakkuja praeguseid mudelisoovitusi, migreerimisjuhiseid, saadavust ja võimalikku sulgemisteavet. Esitatud mudelilehel ei ole märgitud konkreetset sulgemiskuupäeva.
Piirangud ja praegune staatus
o1 kõige olulisemad piirangud on aegunud teadmiste lõppkuupäev, suhteliselt kõrged dokumenteeritud tokenihinnad, arutlusele suunatud latentsus ning algupärase heli-, video- või pildiväljundi puudumine. Samuti ei tohiks eeldada eraldi dokumenteeritud pärandlikku JSON-režiimi üksnes seetõttu, et toetatud on Structured Outputs.
OpenAI loetleb o1 praegu aegununa ning aegunuks on märgitud ka kuupäevaga hetktõmmis o1-2024-12-17. Esitatud dokumentatsioonis ei ole konkreetset sulgemiskuupäeva. See tähendab, et mudel võib endiselt olla asjakohane olemasoleva integratsiooni mõistmiseks või dokumenteeritud võimaluse hindamiseks, kuid enne uue rakenduse alustalaks muutmist peaksid meeskonnad kontrollima selle praegust saadavust.
Kokkuvõte
OpenAI o1 on spetsialiseeritud arutlusmudel keerukaks teksti- ja pildianalüüsiks, mitte üldotstarbeline väikese kuluga genereerimismootor. Selle 200 000 tokeni suurune kontekstiaken, 100 000 tokeni suurune maksimaalne väljund, funktsioonikutsed, Structured Outputs, voogedastus ja pakktöötluse tugi muudavad selle tehniliselt võimekaks nõudlike töövoogude jaoks. Kõrgem hind, aeglasem tööprofiil, aegunud teadmiste lõppkuupäev, heli- ja videovormingute puuduv tugi ning aegunud staatus kataloogis muudavad hoolika mudelivaliku eriti oluliseks.