Mis on Microsoft model-router?
Microsoft model-router on Microsoft Foundry’s juurutatav marsruutermudel. Selle asemel et genereerida iga vastus ühe kindla keelemudeli abil, hindab see päringut ja valib konfigureeritud mudelite kogumist sobiva mudeli. Rakendus saab jätkata ühe juurutuse kasutamist, samal ajal kui marsruuter otsustab iga päringu puhul, millist mudelit kasutada.
See eristab model-routerit tavapärasest keelemudelist. Selle peamine väärtus ei seisne ühes kindlas jõudlusprofiilis ega püsivalt fikseeritud võimaluste kogumis. Tegemist on optimeerimiskihiga, mille eesmärk on sobitada päringud mudelitega, mis peaksid pakkuma sobivat kvaliteedi, latentsuse, hinna ja võimekuse kombinatsiooni.
Näiteks võib tavapärase klassifitseerimisülesande või lihtsa küsimuse suunata väiksema kuluga mudelile, samal ajal kui keeruka arutlusülesande võib marsruuter suunata kõrgema hinnanguga mudelile. Täpne valik sõltub marsruutimisrežiimist, sobivate mudelite kogumist, piirkonnast, juurutuse konfiguratsioonist, õigustest ja päringu omadustest.
Milline on selle roll Microsoft Foundrys?
Model-router kuulub Microsoft Foundry juurutatavate mudelite ja mudeliteenuste kataloogi. Dokumenteeritud mudeli ID on model-router ning selle lehe jaoks esitatud uusim dokumenteeritud versioon on 2025-11-18. Microsoft esitleb seda hallatud alternatiivina rakendusepõhiste kohandatud marsruutimisreeglite loomisele ja hooldamisele.
Toetatud mudelite kogum võib sisaldada OpenAI, Anthropic, xAI, DeepSeeki ja Meta mudeleid. See ei tähenda, et kõik nende teenusepakkujate mudelid oleksid alati saadaval. Sobivus sõltub marsruuteri versioonist, valitud piirkonnast, juurutuse tüübist, juurdepääsuõigustest ja juurutuse jaoks konfigureeritud mudelite alamhulgast.
Claude’i mudelid tuleb Foundry ressursis eraldi juurutada, enne kui model-router saab neid kasutada. Teisi toetatud mudeleid ei pea üldjuhul marsruuteri kaudu kasutamiseks eraldi juurutama, kuigi saadavus ja nõuded sõltuvad konkreetsest juurutusest.
Kuidas marsruutimisrežiimid toimivad?
Microsoft dokumenteerib kolm marsruutimisrežiimi:
- Balanced: Vaikerežiim. See otsib praktilist tasakaalu vastuse kvaliteedi ja hinna vahel.
- Quality: Eelistab päringu jaoks kõrgeima hinnanguga sobivat mudelit. See on mõeldud nõudlikumaks arutluseks või suurema mõjuga väljunditeks, mille puhul on kvaliteet hinnast olulisem.
- Cost: Eelistab väiksema kuluga mudeleid, kui neilt oodatakse piisavalt häid tulemusi. See sobib suure koormusega töövoogudele, mis sisaldavad palju tavapäraseid päringuid.
Rakendused võivad marsruutimise piirata ka mudelite kohandatud alamhulgaga. Kohandatud alamhulk aitab jõustada piirkonna-, vastavus-, võimekuse-, hinna- või kontekstinõudeid. Samuti võib see muuta käitumise prognoositavamaks kui olukorras, kus marsruuteril lubatakse kasutada kõiki muidu sobivaid mudeleid.
Need režiimid on kompromisside juhtimise vahendid, mitte garantiid, et iga päring kasutab kindlat mudelit või annab kindla kvaliteeditaseme. Meeskonnad peaksid valitud režiimi hindama tüüpiliste päringute põhjal, hõlmates ka tõrkejuhtumeid ja tööriistade kasutamise töövooge.
Sisendid, väljundid ja toetatud modaalsused
Model-router aktsepteerib tekstisisendit ning toetatud nägemisvõimekusega vestlusstsenaariumides ka pilte. Microsofti dokumentatsiooni kohaselt põhineb marsruutimisotsus siiski päringu tekstiosal. Pildisisend ei muuda marsruuterit seega üldiseks nägemissüsteemiks, millel on iseseisev piltide arutlemise võimekus; valitud aluseks olev mudel peab endiselt vastavat nägemisstsenaariumi toetama.
Marsruuter ei töötle helisisendit ega genereeri algupäraselt pilte, heli või videot. Selle otsene väljund on tekst. Seda saab kasutada Foundry Responsesi ja Chat Completionsi API-de kaudu ning see toetab sobivaid tööriistakutsumise töövooge ja Foundry agente.
Automaatne tõrkesiire võib suunata päringu teisele sobivale mudelile, kui valitud mudelil tekib ajutine probleem. See võib parandada teenuse vastupidavust, kuid tõrkesiire võib muuta ka vastuse omadusi, sest asendusmudelil võivad olla teistsugused piirangud, tööriistade käitumine või väljundi stiil.
Kontekstiaken ja väljundipiirangud
Esitatud dokumentatsioon loetleb model-routeri kirje konteksti pikkuseks kuni 200 000 tokenit. Tegelikult piirab tõhusat kontekstiakent juurutuses saadaolev väikseima kontekstiga aluseks olev mudel. Seetõttu võib päring, mis mahub marsruuteri nimipiirangu sisse, ebaõnnestuda või käituda teisiti, kui selle päringu jaoks valitud sobiv mudel toetab väiksemat konteksti.
Kohandatud mudelite alamhulgad aitavad seda probleemi kontrollida. Näiteks võib pikki dokumente töötlev meeskond piirata marsruutimise mudelitega, mis toetavad vajalikku konteksti suurust, selle asemel et jätta marsruuterile vabadus valida väiksema kontekstiga mudel.
Model-routeri kohta ei ole dokumenteeritud fikseeritud maksimaalset väljundtokenite arvu. Väljundi maksimaalne pikkus sõltub päringu jaoks valitud aluseks olevast mudelist. Seetõttu ei tohiks rakendused eeldada, et kõigil marsruuditud vastustel on ühesugune väljundipiirang, vaid peaksid päringute töötlemise kavandamisel lähtuma sobivate mudelite kogumi kohta dokumenteeritud piirangutest.
Arutlemine, programmeerimine ja tööriistade kasutamine
Model-router saab suunata päringuid erineva arutlustasemega sobivatele mudelitele, kuid sellel ei ole iseseisvat arutlusprofiili. Keeruka arutlemise jõudlus sõltub sellest, milline sobiv mudel päringut töötleb ja kas valitud marsruutimisrežiim seab kvaliteedi esikohale.
Sama eristus kehtib programmeerimise kohta. Model-router saab toetada programmeerimisrakendusi, kui valitud aluseks olev mudel sobib koodi genereerimiseks, silumiseks või koodiga seotud arutlemiseks. Seda ei tohiks käsitleda ühe kindla programmeerimismudelina, mille käitumine on päringute lõikes muutumatu.
Toetatud on sobivad tööriistakutsumise töövood, sealhulgas kasutamine Foundry agentide kaudu. Tööriistade ühilduvust tuleb testida kogu konfigureeritud mudelite kogumis, sest erinevad aluseks olevad mudelid võivad erineda selles, kuidas nad tõlgendavad tööriistade skeeme, käsitlevad argumente, toetavad arutlusparameetreid või reageerivad tööriistade tulemustele. Mõni valitud arutlusmudeli toetatud parameeter võidakse tähelepanuta jätta.
Marsruuter võib olla kasulik agentidele, kes täidavad mitut tüüpi ülesandeid. Klassifitseerimisetapp, otsinguga seotud otsus, tööriistakutse ja pika vormiga arutlusülesanne ei vaja tingimata sama mudelit. Model-router saab pakkuda ühist juurutust, valides samal ajal nende erinevate töökoormuste jaoks sobivate mudelite seast.
Hind ja saadavus
Selle kirje jaoks esitatud Microsofti hinnalehel ei ole model-routeri kohta avalikku numbrilist tokenihinda; praegu kuvatakse seal kohatäide ja suunatakse kliendid Azure’i hinnateabele. Arveldamine sõltub model-routeri juurutuse hinnakonfiguratsioonist ja marsruuditud aluseks oleva mudeli kasutusest. Kohaldatav hind võib varieeruda tellimuse, piirkonna, juurutuse tüübi, lepingu ja valitud mudeli järgi.
Kuna esitatud uuringus ei ole kinnitatud numbrilist hinda, tuleks usaldusväärne kuluvõrdlus teha kavandatava juurutuse jaoks Azure’i hinnakeskkonnas, mitte tuletada seda üldisest hinnakirjast. Režiim Cost võib sobivate tavapäraste päringute puhul kulusid vähendada, kuid see ei garanteeri konkreetset protsentuaalset kokkuhoidu.
Model-router toetab toetatud Microsoft Foundry piirkondades juurutuse tüüpe Global Standard ja Data Zone Standard. Üksikutel aluseks olevatel mudelitel võib olla erinev piirkondlik saadavus. Enne juurutamist tuleks kontrollida uusimat versiooni ja sobivate mudelite loendit, eriti juhul, kui töökoormus sõltub konkreetsest teenusepakkujast või mudeliperest.
Peamised tugevused
- Üks juurutus eri töökoormuste jaoks: Rakendused saavad kasutada ühist lõpp-punkti ja lasta marsruuteril valida sobivate mudelite seast.
- Konfigureeritavad kompromissid: Režiimid Balanced, Quality ja Cost võimaldavad eri tööeesmärke otse esikohale seada.
- Väiksem marsruutimise hoolduskoormus: Meeskonnad ei pea kõiki mudelivaliku reegleid ise rakendama.
- Mitme teenusepakkuja mudelikogum: Toetatud kataloog võib juurdepääsu- ja piirkonnatingimustest sõltuvalt sisaldada mitme teenusepakkuja mudeleid.
- Töökindlus: Automaatne tõrkesiire võib suunata ajutiselt ebaõnnestunud päringud teisele sobivale mudelile.
- Agentide ja tööriistade integratsioon: Marsruuter saab osaleda sobivates tööriistakutsumise töövoogudes ja Foundry agentide juurutustes.
- Konfigureeritavad piirid: Kohandatud mudelite alamhulgad võivad marsruutimist piirata vastavus-, võimekuse-, hinna- või kontekstinõuete alusel.
Olulised piirangud
- Vähem deterministlik mudelivalik: Sama rakendus ei pruugi iga sarnase päringu puhul kasutada sama aluseks olevat mudelit.
- Muutlikud võimalused: Konteksti suurus, väljundi maksimum, tööriistade ühilduvus, toetatud parameetrid, latentsus ja vastuse stiil sõltuvad valitud mudelist.
- Heli töötlemine ja algupärane meedia genereerimine puuduvad: Model-router aktsepteerib teksti ja toetatud pildisisendeid, kuid ei töötle heli ega genereeri otse pilte, heli või videot.
- Hind sõltub juurutusest: Esitatud hinnateabes ei ole avalikku numbrilist hinda.
- Jõudlust tuleb hinnata: Ühe töökoormuse jaoks hästi toimiv marsruutimisrežiim võib teise jaoks sobimatu olla, eriti kui kvaliteedi- ja kulunõuded erinevad.
- Puhverdamine ei ole ühtlane: Viibapuhvri käitumine pärineb valitud aluseks olevast mudelist ning seda ei tagata päringute lõikes.
Need piirangud on eriti olulised süsteemide puhul, mis nõuavad korratavust, muutumatut mudelikäitumist, rangeid latentsuseesmärke või mudelispetsiifilist viibade ja tööriistade semantikat. Kohandatud mudelite alamhulk võib muutlikkust vähendada, kuid ei muuda model-routerit täielikult fikseeritud mudeliga juurutuseks.
Millal valida Microsoft model-router?
Model-router sobib hästi siis, kui rakendus saab väga erineva raskusastmega päringuid ning meeskond soovib kvaliteedi ja hinna kompromisse tsentraalselt hallata. Näited hõlmavad ettevõtete assistente, klassifitseerimistorustikke, uurimisagente, klienditoesüsteeme ja suure koormusega rakendusi, kus tavapärased päringud ei vaja kõige kallimat saadaolevat mudelit.
See on kasulik ka siis, kui meeskond soovib katsetada mitme toetatud mudeliteenusepakkujaga, ilma et peaks iga mudeli jaoks rakenduse integratsiooni ümber kirjutama. Kohandatud alamhulk säilitab teatava kontrolli, võimaldades samal ajal käitusajal heakskiidetud rühma sees valikuid teha.
Fikseeritud mudel võib olla sobivam, kui peamine nõue on deterministlik käitumine, viibad on ühe mudeli jaoks hoolikalt optimeeritud või iga päring peab kasutama samu konteksti-, väljundi-, tööriista- ja latentsuseomadusi. Lihtsa suure koormusega ülesande puhul võib eelistada ka spetsiaalset väiksema kuluga mudelit, kui marsruutimise lisakulu ja muutlikkus toovad vähe kasu. Seevastu võib kriitilise töövoo jaoks olla parem spetsiaalne kvaliteetne arutlusmudel, kui prognoositav jõudlus on automaatsest kulude optimeerimisest olulisem.
Mida enne juurutamist hinnata?
Enne model-routeri kasutuselevõttu testige seda fikseeritud mudeli lähtetaseme suhtes, kasutades tüüpilisi tootmispäringuid. Mõõtke vastuste kvaliteeti, fakti- ja ülesandespetsiifilist täpsust, latentsust, tokenikasutust, tööriistakutsete edukust, tõrgetest taastumist ja kulu. Kaasake lühikesi päringuid, pika kontekstiga päringuid, vajaduse korral pildisisendeid, keerukaid arutlusülesandeid ning päringuid, mis nõuavad struktureeritud suhtlust tööriistadega.
Samuti testige, kas rakendus talub aluseks olevate mudelite vahelist varieeruvust. Kontrollige vastuse maksimaalset pikkust, toetamata parameetreid, vorminduseeldusi, viibapuhvrit ja käitumist pärast automaatset tõrkesiiret. Kui päring vajab kindlat konteksti suurust või konkreetset võimekust, konfigureerige sobiv mudelite kohandatud alamhulk, selle asemel et toetuda kogu sobivate mudelite kogumile.
Lühidalt öeldes tuleks Microsoft model-routerit käsitleda hallatud mudelivalikusüsteemina, mitte ühe üldotstarbelise mudelina. Selle väärtus tuleneb päringute dünaamilisest sobitamisest sobivate mudelitega ning praktiliste kvaliteedi-, hinna- ja latentsuse juhtimisvõimaluste pakkumisest. See paindlikkus võib ettevõtete juurutusi lihtsustada, kuid seda tuleb tasakaalustada dünaamilise marsruutimise tekitatud muutlikkusega.