Mis on Qianfan-Agent-Lite-128K?
Qianfan-Agent-Lite-128K on Baidu Qianfani platvormi kaudu pakutav kergekaaluline planeerimismudel. Mudeli nimi viitab selle erakordselt suurele kontekstimahule: praeguse Qianfani kirje kohaselt on kontekstiaken 128K, mis tähendab, et päring võib sisaldada suures mahus vestlust, dokumente, juhiseid või agendi vahepealset olekut, enne kui mudel jõuab oma sisendipiiranguni.
Mudel kuulutati algselt välja 10. novembril 2024 platvormi uuenduses nimega Qianfan-Appbuilder-Lite-128k. Hiljem ilmus see praeguse nime Qianfan-Agent-Lite-128K all. Olemasolev dokumentatsioon käsitleb seda pigem planeerimismudelina kui üldotstarbelise mudelina, mille kohta oleks eraldi täielik ja iseseisvalt dokumenteeritud mudelikaart.
Praktikas on see mõeldud agendirakenduse taustal töötama. Agent saab planeerimismudeli abil eesmärki tõlgendada, jagada selle alamülesanneteks, otsustada, milline saadaolev funktsioon või komponent peaks iga sammu täitma, ning aidata korraldada sellele järgnevat töövoogu.
Milline on selle roll Qianfanis?
Qianfan on Baidu mudelite ja rakenduste platvorm. Selles keskkonnas on Qianfan-Agent-Lite-128K positsioneeritud planeerimisele keskenduva valikuna. See eristus on oluline: mudeli dokumenteeritud eesmärk ei ole piltide, heli ega video loomine ning esitatud uuringumaterjal ei kinnita, et tegemist oleks multimodaalse mudeliga.
Baidu dokumentatsiooni kohaselt peavad planeerimismudelid toetama funktsioonikutseid. Funktsioonikutse võimaldab mudelil struktureeritud viisil taotleda välist toimingut, näiteks hankida teavet, kutsuda ärisüsteemi või edastada töö mõnele teisele komponendile. Mudel ei soorita neid väliseid toiminguid iseseisvalt; rakendus, mille osaks see on, peab funktsioonid pakkuma ja neid käivitama.
Kontrollitud tehnilised andmed lühidalt
| Tehniline näitaja | Saadaolev teave |
|---|---|
| Pakkuja | Baidu |
| Mudeliperekond | Qianfan-Agent-Lite |
| Mudeli tüüp | Kergekaaluline planeerimismudel |
| Konteksti pikkus | 128 000 tokenit |
| Peamine väljund | Tekst |
| Funktsioonide või tööriistade kasutamine | Toetatud agendi planeerimise rolli jaoks |
| Pildi-, heli- ja videoväljund | Esitatud mudeliandmete kohaselt pole toetatud |
| Sisendmodaalsused | Tekstisisend on kinnitatud; pildi-, heli- ja videosisend pole kontrollitud |
| Väljundtokenite maksimumarv | Ei ole avaldatud |
| Mudelipõhine hinnastus | Esitatud dokumentatsioonis ei ole avaldatud |
| Teadmiste lõppkuupäev | Ei ole avaldatud |
Arv 128K kirjeldab mudeli kontekstimahtu, mitte tingimata nende tokenite arvu, mida see ühe vastuse jooksul genereerida suudab. Baidu ei ole selle konkreetse mudeli väljundtokenite maksimumlimiiti avaldanud, seega ei tohiks kasutajad käsitleda konteksti pikkust väljundimahuna.
Milles mudel eeldatavasti hästi toimib?
Kõige selgemalt dokumenteeritud kasutusjuht on pika kontekstiga agendi planeerimine. Planeerimismudelil võib olla vaja korraga arvestada kasutaja eesmärgi, varasema vestluse, saadaolevate tööriistade, ülesande piirangute, vahetulemuste ja juhistega. 128K kontekstiaken annab Qianfan-Agent-Lite-128K-le võimaluse säilitada rohkem seda tööolekut kui väiksema kontekstipiiranguga mudel.
- Ülesannete jaotamine: laiaulatusliku päringu jagamine järjestikusteks alamülesanneteks.
- Komponentide valimine: igale sammule sobiva funktsiooni, teenuse või agendikomponendi valimine.
- Funktsioonikutsetel põhinevad töövood: tööriistapäringute koostamine, mida rakendus saab täita ja mudelile tagasi edastada.
- Pikad planeerimisseansid: mahukate juhiste, dokumentide, vestlusajaloo või vahetulemuste hoidmine ühes kontekstis.
- Agentide orkestreerimine: mitmeetapilise töö koordineerimine, mille puhul on mudeli peamine ülesanne otsustada, mis peaks järgmisena juhtuma.
Need on Qianfani dokumentatsioonis kirjeldatud rollipõhised võimalused. Neid ei tohiks segi ajada garantiiga, et mudel lahendab edukalt kõik keerukad planeerimisülesanded: võrdlustulemusi ega mudelipõhiseid hindamisandmeid ei ole esitatud.
Mõtlemise, kodeerimise, kiiruse ja hinna kompromissid
Qianfan-Agent-Lite-128K-d on kõige mõistlikum käsitleda praktilise planeerimismudelina, mitte spetsialiseeritud arutlus- või kodeerimismudelina. Esitatud andmete toimetuslikus hinnangus saab see arutlusoskuse eest 6 punkti 10-st ja kodeerimise eest 5 punkti 10-st. Need on võrdlevad toimetuslikud hinnangud, mitte Baidu avaldatud skoorid ega standardiseeritud võrdlustestide tulemused.
Sama toimetuslik hinnang annab kiirusele 8 punkti 10-st ja hinnale 8 punkti 10-st. See viitab positsioneerimisele, mille keskmes on suhteliselt kiire ja säästlik agentide koordineerimine, eriti olukordades, kus kergekaaluline planeerija on eelistatum suuremale ja aeglasemale mudelile. Kontrollitud hinda pole siiski saadaval, mistõttu tuleks hinnangut käsitleda suhtelise hinnanguna, mitte arvutatava tariifina.
Nõudliku tarkvaraloomise, sügava matemaatilise arutluse või dokumenteeritud arutlusvõime võrdlustesti nõudvate ülesannete puhul võib sobivam olla mõni teine mudel, kui Qianfan pakub avaldatud hindamistulemuste või tugevama ülesandepõhise positsioneerimisega alternatiivi. Teisalt võib suurema üldotstarbelise mudeli kasutamine iga planeerimissammu jaoks suurendada latentsust ja kulusid, kui peamine vajadus on ülesannete jaotamine ja tööriistade valimine.
Modaalsused ja olulised piirangud
Esitatud mudeliandmed kinnitavad teksti sisendit ja tekstiväljundit. Need ei näita loomulikku pildi-, heli- ega videoväljundit ning ei kinnita selle konkreetse mudeli puhul pildi-, heli- ega videosisendit. Seetõttu ei tohiks Qianfan-Agent-Lite-128K-d valida otseseks pildiloomeks, kõne genereerimiseks, video loomiseks ega iseseisvaks multimodaalseks analüüsiks, kui Baidu praegune platvormidokumentatsioon seda eraldi ei kinnita.
Mitmed olulised tehnilised üksikasjad on endiselt avaldamata või kontrollimata:
- Esitatud uuringus ei ole eraldi mudelipõhist sisendi- ega väljundihinda.
- Väljundtokenite maksimumarvu ei ole dokumenteeritud.
- Teadmiste lõppkuupäev pole teada.
- Voogedastust, peenhäälestust, vahemällu salvestamist, pakett-API kasutust ja eraldiseisvat JSON-režiimi ei ole kinnitatud.
- Mudelipõhiseid võrdlustesti tulemusi ega eraldiseisvat elutsükli garantiid ei ole esitatud.
Mudel on loetletud praeguse platvormi planeerimismudelina, kuid selle eraldiseisvat elutsükli staatust ei ole eraldi avaldatud. Seetõttu võivad saadavus, liidesed, kvoodid ja nimetus Qianfani platvormi arenedes muutuda.
Millal valida Qianfan-Agent-Lite-128K?
Vali Qianfan-Agent-Lite-128K siis, kui rakendus vajab suure töömahukonteksti ja funktsioonikutsete toega kergekaalulist planeerijat. See sobib näiteks töövoogudesse, kus enne tööriistade valimist tuleb töödelda pikka juhistekogumit, koordineerida mitmeetapilist äriprotsessi, suunata päringuid komponentide vahel või säilitada ülesande ajal mahukat agendi olekut.
Mudeli profiil on eriti atraktiivne siis, kui kiirus ja ressursitõhusus on olulisemad kui maksimaalne arutlussügavus, multimodaalsed võimalused või täielikult dokumenteeritud mudelikaart. Suur kontekstiaken võib vähendada ka vajadust vanemat planeerimisteavet kõrvale jätta, kuigi tegelik rakenduse jõudlus sõltub päringu ülesehitusest, tööriistade määratlustest ja ümbritsevast agendiraamistikust.
Millal võib mõni teine valik olla parem?
Kasuta teist mudelit või eraldi spetsialiseeritud teenust siis, kui keskne vajadus on loomulik pildi-, heli- või videotöötlus. Qianfan-Agent-Lite-128K sobib halvasti ka juhul, kui hankimine või mahu planeerimine eeldab avaldatud mudelipõhist hinda, väljundi maksimumlimiiti, teadmiste lõppkuupäeva või võrdlustesti profiili.
Keeruka analüüsi puhul võib eelistada tugevamat üldotstarbelist arutlusmudelit, samas kui mahukaks koodiloomeks või kogu koodivaramu tasemel programmeerimiseks võib sobida paremini kodeerimisele spetsialiseerunud mudel. Väiksema kontekstiga mudelist võib piisata ka lühikeste ja lihtsate tööriistakutsete jaoks ning see võib olla praktilisem, kui rakendus ei pea säilitama ulatuslikku ajalugu. Selle mudeli valimise peamine põhjus on planeerimisele keskendumise, funktsioonitoe, kergekaalulise positsioneerimise ja 128K konteksti kombinatsioon – mitte laiaulatuslik multimodaalne genereerimine.
Kokkuvõte
Qianfan-Agent-Lite-128K on Baidu Qianfani platvormi keskendunud planeerimismudel pika kontekstiga agenditöövoogude jaoks. Selle kõige selgemalt kinnitatud eelised on 128 000 tokeni suurune kontekstiaken ja funktsioonikutsete tugi planeerimise rollis. Sama selged on ka peamised puudused: avalik dokumentatsioon ei kinnita mudelitaseme hinnastust, väljundipiiranguid, teadmiste lõppkuupäeva, multimodaalseid sisendeid ega võrdlustesti tulemusi. See sobib kõige paremini kiireks ja säästlikuks koordineerimiskihiks tööriistu kasutavatele agentidele, mitte universaalseks mudeliks genereerimise, multimodaalse töö või sügavalt spetsialiseeritud arutluse jaoks.