Mis on Yi Large FC?
Yi Large FC on ettevõtte 01.AI spetsialiseeritud keelemudel, mida API-s tähistatakse mudeli ID-ga yi-large-fc. See kuulub Yi Large'i mudeliperekonda, kuid eristub keskendumise poolest funktsioonikutsetele. Selle asemel et tagastada ainult vestluslik vastus, suudab see hinnata kasutaja päringut rakenduse pakutavate tööriistade põhjal, valida sobiva funktsiooni ja tagastada selle käivitamiseks vajalikud argumendid.
Praktilises mõttes on funktsioon rakenduses määratletud toiming. Näiteks võib see hõlmata tellimuse andmete otsimist, ilmateate hankimist, siseandmebaasi päringu tegemist või kalendrisündmuse loomist. Mudel ei käivita neid toiminguid iseseisvalt. Selle asemel loob see struktureeritud tööriistakutse, mille ümbritsev rakendus saab valideerida ja käivitada.
Seetõttu erineb Yi Large FC üldotstarbelisest vestlusmudelist, mille peamine väljund on loomulikus keeles tekst. Selle väärtus seisneb keele mõistmise ja tarkvaratoimingute koordineerimises, säilitades samal ajal tegevussoovi masinloetavas vormingus.
Yi Large FC roll 01.AI mudelivalikus
Yi Large FC kuulub 01.AI Yi mudeliperekonda ja on suunatud arendajatele, mitte tavakasutajatele mõeldud assistendiks. Laiem 01.AI ökosüsteem hõlmab alusmudeleid, mudelite juurutamist, peenhäälestust, privaatset juurutamist ja ettevõtetele mõeldud tehisintellektiteenuseid. Selles kontekstis lahendab Yi Large FC kitsama probleemi: tööriistade usaldusväärse valimise ja struktureeritud käivitamise rakendustes ning agentide töövoogudes.
Tähis „FC” viitab funktsioonikutsetele, mitte eraldiseisvale meedia- või multimodaalsele võimekusele. Esitatud mudeliteabe järgi on tegemist teksti sisendina ja teksti väljundina töötava mudeliga. Piltide, heli või video sisendi tuge ei ole kinnitatud ning mudel ei loo pilte, heli ega videot. Seega tuleks seda hinnata tekstimudelina, mille väljund hõlmab tööriistakasutust, mitte üldise multimodaalse mudelina.
Kuidas selle funktsioonikutsete lahendus töötab
Rakendus edastab mudelile saadaolevate tööriistade kirjeldused, sealhulgas funktsioonide nimed, otstarbe ja aktsepteeritavad argumendid. Kasutaja päringu põhjal saab Yi Large FC kindlaks teha, kas mõni neist funktsioonidest on asjakohane. Vajaduse korral tagastab see struktureeritud kutse, mis sisaldab valitud funktsiooni ja selle argumente.
Näiteks võib rakendus avaldada funktsiooni check_order_status, mis võtab vastu tellimuse numbri. Kasutaja võib küsida, kus tema tellimus asub, ning mudel saab tuvastada sobiva funktsiooni ja esitada tellimuse numbri eeldatud argumendistruktuuris. Seejärel käivitab rakendus funktsiooni ja võib saata tulemuse mudelile lõpliku selgituse koostamiseks.
See eristus on oluline. Mudel pakub tegevuse välja, kuid rakenduse kood vastutab endiselt autoriseerimise, valideerimise, käivitamise, vigade käsitlemise ja tundlikele süsteemidele juurdepääsu eest. Funktsioonikutsed võivad muuta agendi integreerimise lihtsamaks, kuid need ei kaota vajadust tavapäraste tarkvara turvameetmete järele.
01.AI dokumentatsioon kirjeldab tööriistade määratlusi, tööriista valiku juhtimist ja funktsiooni käivitamiseks mõeldud struktureeritud JSON-väljundit. Uuring kinnitab struktureeritud tööriistakutsete väljundit, kuid ei kinnita eraldi varasemat JSON-režiimi ega JSON Schema piirangutega väljundi funktsiooni. Neid võimalusi ei tohiks eeldada üksnes mudeli funktsioonikutsete toe põhjal.
Kontekstiaken ja väljundi piirangud
01.AI API dokumentatsioonis on Yi Large FC kontekstiakna suuruseks märgitud 32K tokenit. Kontekstiaken tähistab teksti ja muu päringuteabe koguhulka, mida mudel saab ühe päringu käigus töödelda. See hõlmab vestlust, süsteemijuhiseid, tööriistade kirjeldusi ja tööriistade tulemusi. Seetõttu võib suurem tööriistakataloog kasutada osa saadaolevast kontekstist juba enne kasutaja päringu lisamist.
32K on selle mudeli kohta säilitatud ametlik näitaja. Teisene OpenRouteri kirje teatab teistsugusest, 16 384 tokeni suurusest kontekstist, mistõttu peaksid kasutajad eristama kolmandate osapoolte metaandmeid teenusepakkuja dokumentatsioonist. Kui täpne kontekstimaht on rakenduse jaoks oluline, tuleb kontrollida teenusepakkuja kehtivat piirangut.
Maksimaalset väljundtokenite arvu ei õnnestunud esitatud uuringu põhjal kinnitada. Arendajad ei tohiks eeldada, et kogu järelejäänud konteksti saab väljundina genereerida. Nad peaksid kontrollima kehtivat API dokumentatsiooni või kontopõhist mudeli vastust, et teha kindlaks rakendatavad genereerimispiirangud.
Hinnakujundus ja API-juurdepääs
01.AI dokumenteeritud hinnakujundus on 3 dollarit 1 miljoni sisendtokeni kohta ja 3 dollarit 1 miljoni väljundtokeni kohta. Sisendtokenid hõlmavad päringu sisu ning võivad hõlmata ka süsteemijuhiseid, vestluse ajalugu, tööriistade kirjeldusi ja tagastatud tööriistatulemusi. Väljundtokenid hõlmavad mudeli genereeritud vastust, sealhulgas struktureeritud tööriistakutse sisu.
Dokumenteeritud liides ühildub OpenAI chat-completions'i laadse vorminguga ja kasutab lõpp-punkti https://api.01.ai/v1/chat/completions. Mudeli metaandmed viitavad ka voogedastuse toele. See võib aidata rakendustel genereeritud väljundit järk-järgult kuvada või töödelda, kuigi voogedastatavate tööriistakutse argumentide tegelikku käitumist tuleks praeguses API-rakenduses testida.
Hinna- ja lõpp-punkti üksikasjad on 01.AI dokumentatsioonis kirjas, kuid praegust tegelikku kättesaadavust ei ole sõltumatult kinnitatud. Yi Large FC on API dokumentatsioonis endiselt loetletud, kuigi asjaomane dokumentatsioon näib olevat vanem kui osa 01.AI praegustest ettevõtte materjalidest. Enne tootmissüsteemi sõltuvuse loomist kinnitage, et mudel on kavandatud konto, piirkonna ja API-keskkonna jaoks lubatud.
Võimekused ja kompromissid
Mudeli kõige selgem tugevus on spetsialiseeritud tööriistakasutus. See on mõeldud loomulikus keeles päringu muutmiseks struktureeritud toiminguks, mis võib vähendada rakenduse poolel vajaliku suunamisloogika hulka lihtsamates agendi töövoogudes. Samuti sobib see rakendustesse, kus mudel peab otsustama, kas vastata otse või kutsuda välja üks mitmest saadaolevast funktsioonist.
Esitatud toimetuslik hinnang annab Yi Large FC-le arutlusvõimekuse skooriks 7 punkti 10-st, kodeerimisskooriks 7 punkti 10-st, kiirusskooriks 7 punkti 10-st ja kuluskooriks 5 punkti 10-st. Need on toimetuslikud hinnangud, mitte võrdlustestide tulemused ega 01.AI avaldatud skoorid. Need viitavad tasakaalustatud mudelile tavapärase arutlemise, koodiga seotud ülesannete ja kiire tööriistade orkestreerimise jaoks, kuid neid ei tohiks käsitada konkreetse töökoormuse jõudluse garantiina.
Hinnaga 3 dollarit miljoni sisend- ja väljundtokeni kohta ei ole Yi Large FC positsioneeritud kõige odavama võimaliku mudelina. Selle hinda võib olla lihtsam põhjendada juhul, kui struktureeritud tööriistavalik on rakenduse keskne osa, kuid lihtsam klassifitseerimis- või suunamismudel võib olla suure mahuga ülesannetes säästlikum, kui keelemudeli arutlusvõimekust pole vaja. Seevastu rakendused, mis vajavad täiustatud arutlusvõimekuse garantiisid, võivad vajada teistsugust mudelit, sest esitatud dokumentatsioon sellist garantiid ei kinnita.
Toetatud sisendid ja väljundid
| Võimekus | Yi Large FC olek |
|---|---|
| Tekstisisend | Toetatud |
| Tekstiväljund | Toetatud |
| Funktsioonide ja tööriistade kasutamine | Toetatud ja mudeli eesmärgi keskne osa |
| Voogedastus | Esitatud mudeli metaandmetes loetletud |
| Pildisisend | Esitatud mudeliandmete järgi ei ole toetatud |
| Helisisend | Esitatud mudeliandmete järgi ei ole toetatud |
| Videosisend | Esitatud mudeliandmete järgi ei ole toetatud |
| Pildi-, heli- või videoväljund | Ei ole toetatud |
| Peenhäälestus, vahemällu salvestamine ja batch API | Esitatud uuringu põhjal kinnitamata |
Mudeli struktureeritud väljund on eriti oluline tööriistakutsete puhul. See ei tähenda, et mudel pakuks kõiki piiratud genereerimise vorme või eraldi dokumenteeritud üldotstarbelist JSON-režiimi. Kui rakendus vajab range skeemi jõustamist, tuleb need võimalused eraldi üle kontrollida.
Parimad kasutusjuhud
- Agentide orkestreerimine: Valige rakenduse tööriistade vahel ja koordineerige mitmeastmelisi töövooge.
- Äriprotsesside automatiseerimine: Muutke kasutaja päringud struktureeritud toiminguteks, näiteks otsinguteks, uuendusteks või teeninduspäringuteks.
- Ettevõtte siseassistendid: Ühendage tekstiliides heakskiidetud ettevõttesüsteemidega, jättes toimingute käivitamise rakenduse koodi hooleks.
- Arendajatele mõeldud rakendused: Lisage funktsioonikutsed vestluse, kodeerimise, toe või töövoogude toodetele OpenAI-ga ühilduva API-mustri kaudu.
- Tööriistateadlik klienditugi: Otsustage, millal hankida konto- või tellimusteavet, selle asemel et vastata ainult vestluse konteksti põhjal.
Nendel juhtudel tuleks mudelit kasutada koos range argumentide valideerimise, õiguste kontrolli, logimise ja selge käsitlusega olukordadeks, kus ükski tööriist pole sobiv. Mudeli väljundit tuleks käsitada kavandatava tegevusena, mitte automaatselt usaldusväärse käsuna.
Millal valida Yi Large FC
Valige Yi Large FC siis, kui funktsioonikutsed on peamine nõue ja tekstipõhine mudel 32K dokumenteeritud kontekstiaknaga sobib rakendusse. See on eriti asjakohane juhul, kui mudel peab valima mitme kasutaja määratud tööriista vahel, koostama struktureeritud argumente ja osalema agendi töövoos, ilma et vajataks meedia loomulikku mõistmist.
Kaaluge mõnda muud võimalust, kui rakendus vajab pildi-, heli- või videosisendit, meedia loomulikku genereerimist, selgelt kinnitatud praeguse kättesaadavuse garantiid või täiustatud arutlusvõimekust, mida Yi Large FC puhul ei ole tõendatud. Madalama hinnaga lihtsam mudel võib olla parem valik deterministlikuks suunamiseks või lihtsaks väljavõtteks, samas kui rohkem arutlemisele keskendunud mudel võib sobida paremini keerukaks planeerimiseks ja analüüsiks. Kui range väljundi valideerimine on keskne nõue, võib sobivam olla ka mudel, mille JSON Schema piirangud on eraldi dokumenteeritud.
Kättesaadavuse ja kontrollimise märkused
OpenRouter teatas, et mudel avaldati 2. augustil 2024, kuid see kuupäev pärineb teisestest metaandmetest ega ole esitatud allikate põhjal otseselt kinnitatud 01.AI väljalasketeade. 01.AI ametlik dokumentatsioon kinnitab mudeli ID-d, tööriistakasutuse eesmärki, hinnakujundust, 32K konteksti, struktureeritud väljundit ja chat-completions'i lõpp-punkti.
Ebaselgeks jäävad mudeli praegune tegelik kasutusolek ja mitu operatiivset üksikasja, sealhulgas maksimaalne väljundtokenite arv, peenhäälestus, vahemällu salvestamine, batch-ligipääs ja eraldiseisev üldotstarbeline JSON-režiim. Need ebaselgused ei muuda seda, milleks Yi Large FC on loodud, kuid neid tuleb tootmissüsteemi jaoks mudeli valimisel arvesse võtta. Enne juurutamist kinnitage 01.AI-ga otse praegune mudelite loend, kontojuurdepääs, piirkondlik kättesaadavus, kvoodid ja piirangud.