Mis on Step-Audio-R1.1?
Step-Audio-R1.1 on StepFuni avatud kaaludega mudel reaalajas toimuvaks heli mõistmiseks, arutlemiseks ja kõnedialoogiks. Avaldatud kontrollpunkt sisaldab ligikaudu 33 miljardit parameetrit ning on mõeldud pigem ise hostimiseks või kohalikuks kasutuseks kui laialt kättesaadavaks ja kohe kasutatavaks kolmanda osapoole järeldusteenuseks.
Mudel on Step-Audio-R1 täiustatud versioon ja kuulub StepFuni Step-Audio-R1 mudeliperre. Selle peamine eripära on võime arutleda otse heli põhjal, mitte üksnes transkriptsiooni alusel. See erinevus on oluline vestlustes, kus hääle esitamisviis kannab kasulikku teavet. Kõnetoon, pausid, prosoodia, rõhuasetused ja muud akustilised üksikasjad võivad kaduma minna, kui kõne teisendatakse enne keelemudelile edastamist tekstiks.
StepFun avaldas Step-Audio-R1.1 14. jaanuaril 2026. Mudeli kaalud ja järelduskood on saadaval StepFuni ametlikes ressurssides, sealhulgas Hugging Face'i mudelihoidlas ja lähtekoodihoidlas. Kontrollpunkti levitatakse Apache 2.0 litsentsi alusel.
Kuidas heli mõistmise arhitektuur töötab
StepFun kirjeldab Step-Audio-R1.1 arhitektuuri kahe ajuna. Formulation Brain tegeleb kõrgema taseme arutlemisega ja otsustab, mida süsteem peaks edastama. Articulation Brain muudab selle sõnastuse kõneks ning aitab käimasoleva suulise vestluse voogu hoida.
Selle jaotuse eesmärk on toetada „mõtlemist rääkimise ajal“. Selle asemel et käsitleda kõne genereerimist viimase etapina pärast kogu arutlemise lõppu, on mudel loodud interaktiivseks reageerimiseks, kus arutlemine ja kõneks vormistamine saavad toimuda osana reaalajas vestlusest. Praktiline eesmärk on väiksem latentsus ja loomulikum suuline suhtlus, mitte üksikute helifailide pakktöötlus.
Mudeli kaardil nimetatakse kontrollpunkti heli-tekstilt tekstiks mudeliks, samas kui StepFuni reaalaja dokumentatsioon kirjeldab ka kõne genereerimist ja kõneväljundit. Seetõttu peaksid juurutusmeeskonnad valitud teeninduskonfiguratsiooni täpse sisendi ja väljundi käitumise üle kontrollima, eriti siis, kui liigutakse mudeli kontrollpunktist tootmiskasutuseks mõeldud häälerakenduseni.
Toetatud modaalsused ja võimekus
Step-Audio-R1.1 toetab sisendina teksti ja heli ning suudab genereerida tekstilisi ja helilisi vastuseid. Seetõttu sobib see süsteemidele, mis ühendavad kirjalikud juhised kasutaja kõnega või peavad vahetama tekstilise arutlemise ja suulise suhtluse vahel.
- Helisisend: kõnet ja akustilist teavet saab kasutada mudeli arutlusprotsessi osana.
- Tekstisisend: teksti saab vestlusesse lisada koos heliga.
- Heliväljund: reaalajalahendus hõlmab suuliste vastuste kõneks genereerimist.
- Tekstiväljund: mudel suudab genereerida tekstilist arutluskäiku või vastuseid.
- Voogedastus: mudel on loodud reaalajas või voogedastuspõhiseks suhtluseks.
- Tööriistade tugi: teenindusmall hõlmab tööriistade skeemide käsitlemist, kuid täpsed tööriistad ja käitumine tootmiskeskkonnas sõltuvad juurutusest.
Need võimalused eristavad mudelit kõne tekstiks teisendamise torustikust, millele järgneb ainult tekstiga töötav keelemudel. Tavapärast torustikku võib olla lihtsam kasutada, kuid see võib akustilise teabe enne arutlemise algust kõrvale jätta. Step-Audio-R1.1 on mõeldud olukordadeks, kus selline teave on osa tõlgendatavast sisendist.
Arutlemine, kodeerimine, kiirus ja hind
Kõne ja akustilise konteksti põhjal arutlemine on mudeli peamine spetsialiseerumisvaldkond. Kaasasolevas hindamisprofiilis on selle arutlusvõime hinnatud 9 punktile 10-st, kuid tegemist on toimetusliku hinnanguga, mitte StepFuni avaldatud tulemusega, mistõttu ei tohiks seda käsitleda standardiseeritud võrdlustesti tulemusena.
Kodeerimine ei ole mudeli keskne kasutusvaldkond. Selle toimetuslik kodeerimisskoor on 5 punkti 10-st, mis viitab sellele, et arendajad peaksid valima selle eelkõige heliteadliku suhtluse, mitte üldise tarkvaraarenduse jaoks. Mudel võib olla võimeline genereerima teksti ja käsitlema koodiga seotud päringuid, kuid kättesaadav uurimismaterjal ei tõenda kodeerimise võrdlustulemusi ega positsioneeri Step-Audio-R1.1 juhtiva koodi genereerimise mudelina.
Sama toimetuslik profiil hindab kiirust 8 punktile 10-st ja hinda 6 punktile 10-st. Need hinded on kasulikud üksnes üldise võrdlusjuhisena. Mudeli ligikaudu 33 miljardi parameetri ja dokumenteeritud mitme GPU kasutamise nõuete tõttu sõltub tegelik käituskulu suuresti riistvarast, kvantimisest, samaaegsusest, heli töötlemisest ja teeninduskonfiguratsioonist. StepFun ei ole selle kontrollpunkti kohta avaldanud kontrollitud avalikku sisendi- ega väljundmärgi hinda.
Praktilises mõttes vahetab Step-Audio-R1.1 juurutamise lihtsuse ja ressursitõhususe avatud kaalude pakutava kontrolli ning helipõhise arutlemise vastu. Väikese rakenduse puhul võib hostitud kõne- või multimodaalteenus olla lihtsam ja odavam, samas kui see mudel on atraktiivsem organisatsioonidele, kes vajavad kontrolli kaalude, teeninduskeskkonna või andmevoo üle.
Konteksti piirangud ja juurutusnõuded
Kaasasolevate mudeliandmete järgi on maksimaalne konteksti pikkus 65 536 märgendit. Juurutusdokumentatsioon kirjeldab siiski rohkem kui üht teeninduskonfiguratsiooni. Dockeril põhinevas vLLM-i näites kasutatakse mudeli maksimaalse pikkusena 16 384 märgendit, lähtekoodipõhises teeninduses aga seadistatavat 65 536 märgendi maksimumi. Neid väärtusi ei tohiks käsitleda vastuoluliste universaalsete piirangutena: tegelik piir sõltub valitud teeninduslahendusest, mälumahust ja konfiguratsioonist.
Selle mudeli maksimaalset väljundmärgendite arvu ei ole kontrollitud. Seetõttu peaksid arendajad vältima eeldust, et kogu kontekstiaken on genereeritava väljundi jaoks saadaval. Kontekstiaken hõlmab vestlust ja muud edastatud sisu, samas kui juurutuskonfiguratsioon ja vaba GPU-mälu määravad, kui palju ruumi vastuse jaoks alles jääb.
Ametlikud juhised kirjeldavad kohandatud vLLM-i taustsüsteemi või StepFuni pakutavat Dockeri tõmmist. Dokumenteeritud keskkond kasutab Linuxit, Pythonit versiooniga 3.10 või uuemaga ning NVIDIA CUDA riistvara. StepFun teatab testimisest konfiguratsioonidel, mis kasutavad nelja L40S-, H100-, H800- või H20-GPU-d. Kohalikuks käitamiseks mõeldud mudeli kohta on see märkimisväärne taristunõue, mistõttu ei sobi kontrollpunkt paljudele sülearvutitele, ühe GPU-ga tööjaamadele ega piiratud ressurssidega juurutustele.
Mudeli avatud kaalud annavad kogenud meeskondadele rohkem kontrolli kui ainult hostitud lõpp-punkt, kuid samal ajal kandub kasutajale ka suurem käitamisvastutus. Enne süsteemi tootmisküpsena käsitlemist peavad meeskonnad kontrollima GPU-mälu, heli sisendi ja väljundi käsitlemist, latentsust samaaegse koormuse korral, mudeliserveri ühilduvust ning tööriistakutsete käitumist.
Peamised tugevused ja piirangud
Tugevused
- See on loodud spetsiaalselt suuliseks suhtluseks, mitte ainult tekstivestluseks.
- Selle arutlemine peaks säilitama akustilise teabe, mille kõnet esmalt transkribeeriv torustik võib kaotada.
- Kahe aju arhitektuur on suunatud interaktiivsete vastuste genereerimisele ja kõneks vormistamisele.
- Avatud kaalud ja Apache 2.0 litsents annavad ise hostitud rakenduste jaoks märkimisväärse kontrolli.
- Dokumenteeritud reaalajalahendus toetab voogedastuspõhist dialoogi ja kõneväljundit.
Piirangud
- Ligikaudu 33 miljardi parameetri suurus ja dokumenteeritud testimine nelja GPU-ga muudavad kohaliku juurutamise nõudlikuks.
- Selle konkreetse kontrollpunkti kohta ei ole kontrollitud avalikku hostitud sisendi- ega väljundmärgi hinda.
- Kaasasoleva uurimismaterjali põhjal ei ole kindlaks tehtud standardset ja laialt kättesaadavat kolmanda osapoole järelduslõpp-punkti.
- Tegelik kontekstipiir sõltub teeninduskonfiguratsioonist ning läbivaadatud materjalides ei ole avaldatud maksimaalset väljundpiirangut.
- Tööriistade käsitlemine sõltub teenindusmallist ja juurutusest, mitte universaalsest hallatud API-funktsioonist.
- Mudel ei ole eelkõige mõeldud piltide või videote genereerimiseks ning selle üksuse puhul ei ole dokumenteeritud pildi- ega videosisendi tuge.
- Eraldi dokumenteeritud JSON-režiimi, vahemällu salvestamise funktsiooni, peenhäälestuse pakkumist, pakktöötluse API-t ega üldotstarbelist veebiotsingu integratsiooni ei ole kontrollitud.
Millal valida Step-Audio-R1.1?
Vali Step-Audio-R1.1 siis, kui rakendus vajab heliteadlikku arutlemist ja meeskond suudab hallata nõudlikku ise hostitud lahendust. Sobivad näited on hääleassistendid, mis peavad reageerima sellele, kuidas midagi öeldakse, kõneagendid, kes peavad hoidma käimasolevat vestlust, akustilisel teabel põhineva arutlemise uurimissüsteemid ning interaktiivsed helirakendused, kus avatud kaalud või juurutuse kontroll on olulised.
See on mõistlik valik ka siis, kui üksnes transkriptsioonist ei piisa. Näiteks võib rakendus vajada kõhkluste, rõhuasetuste, pauside või hääle esitamisviisi muutuste eristamist vastuse koostamise ajal. Mudeli arhitektuur on suunatud just sellisele suulisele suhtlusele, mitte tavapärasele teksti lõpetamisele.
Teine lahendus võib olla sobivam siis, kui prioriteediks on võimalikult väike taristukulu, lihtne API-integratsioon, ettearvatav päringupõhine arveldamine või juurutamine piiratud riistvaral. Hostitud kõne- ja keeleteenus võib vähendada käitamisega seotud tööd, isegi kui see pakub mudeli kaalude ja andmetöötluse üle vähem kontrolli. Väiksem kõnemudel võib olla eelistatav ka siis, kui latentsus ja riistvara hind on olulisemad kui suure mahuga arutlusvõime.
Koodirohke töökoormuse korral on tõenäoliselt parem valik tarkvaraarenduseks optimeeritud ja võrdlustestidega hinnatud mudel. Pildi- või videoülesannete jaoks sobib paremini spetsiaalne nägemis- või meediamudel. Step-Audio-R1.1 tuleks valida selle heli mõistmise ja kõnedialoogi rolli tõttu, mitte üldise asendusena igat tüüpi mudelitele.
Hind, juurdepääs ja litsents
Step-Audio-R1.1 ametlikku avalikku sisendi- ega väljundmärgi hinda ei õnnestunud kontrollida. Kuna tegemist on avatud kaaludega väljalaskega, peavad kasutajad üldjuhul arvestama oma riistvara-, majutuse-, salvestus-, arendus- ja käitamiskuludega, mitte rakendama teenusepakkuja hallatud märgipõhist tariifi.
StepFun pakub mudeli kaalusid ja järelduskoodi ametliku Step-Audio-R1 hoidla ning Hugging Face'i kontrollpunkti kaudu. StepFuni Audio Studio demonstratsioon nõuab StepFun Open Platformi API-võtit, kuid seda demonstratsiooni ei tohiks tõlgendada tõendina, et mudelil on avaldatud hinnakirjaga üldine hostitud API.
Üldjoontes tuleks Step-Audio-R1.1 käsitleda spetsialiseeritud avatud kaaludega alusena reaalajas kõneagentidele. Selle väärtus seisneb helipõhise arutlemise, kõnesuhtluse ja ise hostimise pakutava kontrolli ühendamises. Peamine kulu on taristu ja integratsioonitöö, mida on vaja suure mudeli kasutamiseks kohandatud teeninduslahenduse kaudu.