Arendaja platvorm

Tencent Cloud TokenHub API

Tencent AI ülevaade arendajatele, mis hõlmab API-juurdepääsu, hinnastust, SDK-tuge, lõppunkte, võimekusi ja platvormi reegleid.

Dokumentatsioon API juhend

API võti Nõutud

Peamine API OpenAI-ga ühilduvad Chat Completionsi ja Responses API-d

SDK tugi OpenAI Pythoni ja JavaScripti SDK-d töötavad ühilduva API kaudu, muutes väärtust „base_url“. Tencent Cloudi allkirjastatud SDK-d toetavad juhtimistasandi API-de jaoks Pythoni, Java, PHP, Go, Node.js-i, .NET-i, C++-i, Ruby’t ja teisi programmeerimiskeeli.

Päringupiirangud Piirangud sõltuvad mudelist, piirkonnast, kontost, API-võtmest ja paketist. HTTP 429 vastused viitavad päringusageduse piirangu rakendumisele; Tencent kirjeldab päise Retry-After käsitlemist ja soovitab päringute kordamisel eksponentsiaalset tagasijõudmis

Platvorm

API ülevaade

Lõppunktid (endpoints)

API ligipääs

Juuraadress (Base URL)


					https://tokenhub.tencentmaas.com/v1

Peamine API OpenAI-ga ühilduvad Chat Completionsi ja Responses API-d

Hinnad

API Hinnad

Hinnakujundusmudel Mudelipõhine kasutuse hinnastamine koos kasutuspõhise arvelduse ja Token Plani ettevõtete kvoodivalikutega

Hinnad sõltuvad mudelist ja kasutusnäitajast, sealhulgas sisendmärkidest, väljundmärkidest, vahemällu salvestatud märkidest, arutlusmärkidest, piltide kasutamisest ja otsingukutsetest. Kehtivaid hindu tuleb kontrollida TokenHubi mudelikataloogist.

Arendaja töömugavus

SDK info

SDK OpenAI Pythoni ja JavaScripti SDK-d töötavad ühilduva API kaudu, muutes väärtust „base_url“. Tencent Cloudi allkirjastatud SDK-d toetavad juhtimistasandi API-de jaoks Pythoni, Java, PHP, Go, Node.js-i, .NET-i, C++-i, Ruby’t ja teisi programmeerimiskeeli.

Kasutusmugavus Kõrge OpenAI-ga ühilduvaid API-sid tundvatele arendajatele; seadistada tuleb Beareri API-võti, kohandatud baasaadress ja mudeli ID. Piirkondlikud konto- ja mudeli aktiveerimise nõuded kehtivad endiselt.

Dokumentatsioon Hea ja aktiivselt ajakohastatud, sisaldades API-de kasutusjuhendeid, protokolliviiteid, mudelite loendeid, migratsioonidokumentatsiooni, veakoode, multimodaalseid näiteid ja ettevõtete töökorralduse juhiseid.

Viivitus TokenHubi kohta ei kehti ühtki avalikku ja kõigile rakenduvat numbrilist latentsusgarantiid. Tencent pakub piirkondlikke lõpp-punkte ja soovitab valida lähedal asuva või latentsuse suhtes tundliku piirkondliku lõpp-punkti; tegelik latentsus varieerub olen

Allikad

Viited arendajale

Dokumentatsioon ↗ API juhend ↗ Liivakast ↗

Featuurid

API võimekused

✓ Voogedastus

✓ Funktsioonide kasutamine

✓ Failide üleslaadimine

✓ Veebiotsing

✓ Pildi sisend

✓ Struktureeritud väljund

✓ Liivakast

Lühikirjeldus

TokenHub on praegu soovitatav Tencent Cloudi arendajaplatvorm suurte mudelite järelduseks. See toetab OpenAI ja Anthropicuga ühilduvaid protokolle, bearer-tüüpi API-võtmega autentimist, mudelite avastamist, voogedastust, funktsioonikutsunguid, struktureeritud JSON-väljundit, manuseid, valitud veebotsingu võimalusi ning ühilduvate mudelite puhul multimodaalset sisendit. Pildi-, video-, faili-, veebotsingu- ja struktureeritud väljundi tugi sõltub mudelist ja lõpp-punktist. Vanemat eraldiseisvat Hunyuan platvormi viiakse üle TokenHubi ning selle sulgemine on kavandatud 30. septembrile 2026. Uute integratsioonide puhul kasutage TokenHubi. Responsesiga ühilduv liides toetab juhiseid, voogedastust, funktsioonitööriistu ja struktureeritud väljundit, samas kui ühilduvusrežiimi sisseehitatud tööriistad, nagu file_search, web_search, code_interpreter ja MCP, ei pruugi olla toetatud või nende tugi võib sõltuda mudelist. TokenHub on peamiselt järelduslüüs; kehtiv dokumentatsioon ei kinnita universaalse püsiva assistendikäituskeskkonna ega universaalse peenhäälestusteenuse olemasolu.

Näited

API Näited

curl -X POST 'https://tokenhub.tencentmaas.com/v1/chat/completions' \
  -H 'Authorization: Bearer ${TOKENHUB_API_KEY}' \
  -H 'Content-Type: application/json' \
  --data-raw '{
    "model": "hy3-preview",
    "messages": [
      {"role": "system", "content": "You are a concise technical assistant."},
      {"role": "user", "content": "Explain why API clients should use exponential backoff."}
    ],
    "temperature": 0.2
  }'

curl -N -X POST 'https://tokenhub.tencentmaas.com/v1/chat/completions' \
  -H 'Authorization: Bearer ${TOKENHUB_API_KEY}' \
  -H 'Content-Type: application/json' \
  --data-raw '{
    "model": "hy3-preview",
    "messages": [{"role": "user", "content": "Stream a short explanation of server-sent events."}],
    "stream": true
  }'

# Install: pip install openai
import json
import os
from openai import OpenAI

api_key = os.environ.get("TOKENHUB_API_KEY")
if not api_key:
    raise RuntimeError("TOKENHUB_API_KEY is not set")

client = OpenAI(
    api_key=api_key,
    base_url="https://tokenhub.tencentmaas.com/v1",
)

try:
    response = client.chat.completions.create(
        model="hy3-preview",
        messages=[
            {"role": "system", "content": "You are a concise technical assistant."},
            {"role": "user", "content": "Give three practical API retry recommendations."},
        ],
    )
    print(response.choices[0].message.content)

    stream = client.chat.completions.create(
        model="hy3-preview",
        messages=[{"role": "user", "content": "Explain streaming responses in two paragraphs."}],
        stream=True,
    )
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            print(chunk.choices[0].delta.content, end="", flush=True)
    print()

    structured = client.chat.completions.create(
        model="hy3-preview",
        messages=[{"role": "user", "content": "Return a JSON object describing a retry policy."}],
        response_format={
            "type": "json_schema",
            "json_schema": {
                "name": "retry_policy",
                "strict": True,
                "schema": {
                    "type": "object",
                    "properties": {
                        "max_attempts": {"type": "integer"},
                        "backoff": {"type": "string"},
                    },
                    "required": ["max_attempts", "backoff"],
                    "additionalProperties": False,
                },
            },
        },
    )
    print(json.loads(structured.choices[0].message.content))
except Exception as exc:
    print(f"TokenHub request failed: {exc}")

// Install: npm install openai
import OpenAI from "openai";

const apiKey = process.env.TOKENHUB_API_KEY;
if (!apiKey) {
  throw new Error("TOKENHUB_API_KEY is not set");
}

const client = new OpenAI({
  apiKey,
  baseURL: "https://tokenhub.tencentmaas.com/v1",
});

try {
  const response = await client.chat.completions.create({
    model: "hy3-preview",
    messages: [
      { role: "system", content: "You are a concise technical assistant." },
      { role: "user", content: "Explain API retry handling in three points." },
    ],
  });
  console.log(response.choices[0]?.message?.content ?? "");

  const stream = await client.chat.completions.create({
    model: "hy3-preview",
    messages: [{ role: "user", content: "Stream a short explanation of SSE." }],
    stream: true,
  });
  for await (const chunk of stream) {
    process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
  }
  process.stdout.write("\n");

  const toolResponse = await client.chat.completions.create({
    model: "hy3-preview",
    messages: [{ role: "user", content: "What is the weather in Beijing?" }],
    tools: [{
      type: "function",
      function: {
        name: "get_weather",
        description: "Get current weather for a city",
        parameters: {
          type: "object",
          properties: { city: { type: "string" } },
          required: ["city"],
          additionalProperties: false,
        },
      },
    }],
    tool_choice: "auto",
  });
  console.log(JSON.stringify(toolResponse.choices[0]?.message ?? {}, null, 2));
} catch (error) {
  console.error("TokenHub request failed:", error);
  process.exitCode = 1;
}

<?php
$apiKey = getenv('TOKENHUB_API_KEY');
if (!$apiKey) {
    throw new RuntimeException('TOKENHUB_API_KEY is not set');
}

$url = 'https://tokenhub.tencentmaas.com/v1/chat/completions';
$payload = [
    'model' => 'hy3-preview',
    'messages' => [
        [
            'role' => 'system',
            'content' => 'You are a concise technical assistant.'
        ],
        [
            'role' => 'user',
            'content' => 'Explain how to handle HTTP 429 responses.'
        ]
    ],
    'temperature' => 0.2
];

$ch = curl_init($url);
curl_setopt_array($ch, [
    CURLOPT_POST => true,
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_HTTPHEADER => [
        'Authorization: Bearer ' . $apiKey,
        'Content-Type: application/json',
        'Accept: application/json'
    ],
    CURLOPT_POSTFIELDS => json_encode($payload, JSON_THROW_ON_ERROR),
    CURLOPT_TIMEOUT => 120
]);

$body = curl_exec($ch);
if ($body === false) {
    $error = curl_error($ch);
    curl_close($ch);
    throw new RuntimeException('cURL error: ' . $error);
}

$status = curl_getinfo($ch, CURLINFO_HTTP_CODE);
curl_close($ch);
$data = json_decode($body, true);

if ($status < 200 || $status >= 300) {
    $message = $data['error']['message'] ?? $body;
    throw new RuntimeException('TokenHub HTTP ' . $status . ': ' . $message);
}

$result = $data['choices'][0]['message']['content'] ?? null;
if ($result === null) {
    throw new RuntimeException('The response did not contain assistant content.');
}

echo $result . PHP_EOL;
?>

Põhimõtted

Andmete kasutus

Kõigi TokenHubi kaudu kättesaadavate mudelite kohta ei õnnestunud kontrollida ühtset universaalset treeningandmete kasutamise poliitikat. Andmete käitlemine võib mudeli pakkuja, mudeli, piirkonna, konto konfiguratsiooni ja ettevõttelepingu alusel erineda. Arendajad peaksid enne konfidentsiaalsete või reguleeritud andmete saatmist tutvuma kohaldatavate Tencent Cloudi privaatsustingimuste, mudelipõhiste tingimuste ja ettevõttelepinguga. Ei tohi eeldada, et ühe majutatud mudeli poliitika kehtib automaatselt kõigi platvormi kaudu kättesaadavate mudelite suhtes.

Andmete säilitamine

Kõigi TokenHubi mudelite ja piirkondade jaoks ei ole kinnitatud ühtset universaalset säilitusperioodi. Tencent kirjeldab turbehaldust, juurdepääsukontrolle, auditilogimist, kasutuse jälgimist ja ettevõtetele mõeldud andmekaitsevõimalusi, kuid säilitusperiood võib sõltuda logimise konfiguratsioonist, piirkonnast, mudelist ja lepingust. Kontrollige kohaldatavaid teenusetingimusi ning seadistage ettevõtte logimine ja võrgukontrollid vastavalt juurutusnõuetele.

Päringupiirangud

Piirangud sõltuvad mudelist, piirkonnast, kontost, API-võtmest ja paketist. HTTP 429 vastused viitavad päringusageduse piirangu rakendumisele; Tencent kirjeldab päise Retry-After käsitlemist ja soovitab päringute kordamisel eksponentsiaalset tagasijõudmis

Arendaja juhend

Tencent Cloudi TokenHub API: algaja juhend juurdepääsu, funktsioonide ja integreerimise kohta

Tencent Cloud TokenHub on Tencenti praegune tsentraliseeritud platvorm suurte mudelite API-de kasutamiseks. See pakub Tencent Hunyuanile ja valitud kolmandate osapoolte mudelitele OpenAI ja Anthropicuga ühilduvaid liideseid, API-võtmega autentimist, piirkondlikke lõpp-punkte, voogedastust, tööriistade kutsumist, struktureeritud väljundeid, multimodaalset sisendit, faile, manuseid ja valitud veebotsingu funktsioone. Uute integratsioonide puhul tuleks kasutada TokenHubi, mitte pärandvaramuna eraldiseisvat Hunyuan API-t, mille töö lõpetamine on kavandatud 30. septembriks 2026.

Tencent Cloud TokenHub pakub arendajatele ühtset API-kihti Tencent Hunyuanile ja teistele toetatud mudelitele juurdepääsuks. Kui olete varem kasutanud OpenAI-ga ühilduvat SDK-d, on põhiline integratsioonimuster tuttav: looge piirkondlik API-võti, seadistage TokenHubi baas-URL, valige lubatud mudel ning saatke Chat Completionsi või Responsesi päring. Selles juhendis käsitletakse praegust juurdepääsumudelit, esimese päringu saatmist, hinnastamispõhimõtteid, võimalusi, SDK kasutamist ja tootmiskeskkonnaga seotud kaalutlusi.

Tencent Cloud TokenHub on Tencenti praegune tsentraliseeritud API-platvorm Hunyani ja valitud kolmandate osapoolte mudelite jaoks. See pakub OpenAI ja Anthropicuga ühilduvaid liideseid, piirkondlikke lõpp-punkte, Bearer API-võtmeid, voogedastust, funktsioonikutseid, struktureeritud väljundit, multimodaalset sisendit, failide tuge, embedd’e ja valitud veebotsingu võimalusi. Hinnad ja piirangud sõltuvad mudelist, piirkonnast ja kontost, seega peaksid uued arendajad enne juurutamist kontrollima mudelite saadavust ja kasutuslimiite.

Mis on Tencent Cloud TokenHub ja millal seda kasutada

Tencent Cloud TokenHub on Tencenti praegune arendajaplatvorm suurte mudelite järelduseks. See pakub tsentraliseeritud lüüsi Tencenti Hunyuan mudelitele ja valitud teiste pakkujate mudelitele. Selle asemel et integreerida iga mudeliperekonna jaoks eraldi lõpp-punkt, saab rakendus kasutada TokenHubi standardiseeritud API-protokolle ning valida mudeli, mis on tema konto ja piirkonna jaoks saadaval.

TokenHub toetab nii OpenAI-ga ühilduvaid kui ka Anthropicuga ühilduvaid API-mustreid. Nende ökosüsteemidega tuttavad arendajad saavad tavaliselt olemasolevaid kliente ja tööriistu edasi kasutada, muutes API-võtit, baas-URL-i ja mudeli identifikaatorit.

Kasutage TokenHubi, kui vajate programmilist juurdepääsu toetatud keele- või multimodaalsetele mudelitele, voogedastatavaid vastuseid, funktsioonikutseid, struktureeritud JSON-väljundit, manuseid või valitud otsingu- ja failitöövooge. See on peamiselt järelduslüüs. Praegune dokumentatsioon ei kinnita universaalset püsiva assistendi käituskeskkonda ega universaalset peenhäälestusteenust.

Uued projektid peaksid kasutama TokenHubi varasema eraldiseisva Hunyuan API asemel. Tencenti migratsioonidokumentatsiooni järgi suletakse pärandina kasutatav Hunyani platvorm 30. septembril 2026.

Juurdepääsu saamine ja API-võtme hankimine

Alustage TokenHubi konsoolist ja looge API-võti piirkonna jaoks, kus teie rakendus tööle hakkab. Võtmed ja teenused on seotud piirkondliku saidiga ning Tencent hoiatab, et eri saitide võtmed ei ole omavahel vahetatavad.

Avage TokenHubi konsool.
Valige vajalik piirkondlik sait.
Looge API-võti.
Piirake võti mudelite või järeldusteenustega, mida rakendus tegelikult vajab.
Kontrollige saadaolevaid mudeleid käsuga /v1/models enne mudeli valimist tootmiskasutuseks.

Saatke võti kandjatunnusena HTTP Authorization päises:

Authorization: Bearer YOUR_API_KEY

Hoidke võtit keskkonnamuutujas või saladuste halduris. Ärge paigutage seda brauserikoodi, avalikku hoidlasse ega kliendipoolsesse rakendusekoodi, kust kasutajad võivad selle kätte saada.

Piirkondliku lõpp-punkti ja mudeli valimine

Teie baas-URL sõltub teenuse piirkonnast. Mandri-Hiina lõpp-punkt on https://tokenhub.tencentmaas.com/v1. Tencent dokumenteerib ka rahvusvahelise lõpp-punkti https://tokenhub-intl.tencentmaas.com/v1 ning võimaluse korral USA piirkondliku variandi https://tokenhub-us.tencentcloudmaas.com/v1.

Juurdepääsu ulatus	Baas-URL	Tüüpiline kasutus
Mandri-Hiina	`https://tokenhub.tencentmaas.com/v1`	Mandri-Hiina ressursside suunamine
Globaalne	`https://tokenhub-intl.tencentmaas.com/v1`	Rahvusvaheline juurdepääs ja globaalne ressursside suunamine
USA piirkondlik juurdepääs	`https://tokenhub-us.tencentcloudmaas.com/v1`	Dokumenteeritud rahvusvaheline või USA juurdepääs, kui see on saadaval

Mudeli identifikaatorid ja võimalused ei ole kõigi kontode puhul ühesugused. Kasutage mudelite loendit ja mudeli üksikasjade dokumentatsiooni saadaolevuse, toetatud parameetrite, hinnastuse ning selliste funktsioonide nagu nägemine, video, tööriistad ja struktureeritud väljund kontrollimiseks.

Esimese päringu tegemine Chat Completionsiga

Chat Completions on sõnumipõhise rakenduse jaoks kõige lihtsam lähtekoht. See võtab vastu sõnumijada ja tagastab assistendi vastuse. Järgmine päring kasutab praegust OpenAI-ga ühilduvat Mandri-Hiina lõpp-punkti:

curl -X POST 'https://tokenhub.tencentmaas.com/v1/chat/completions' 
  -H 'Authorization: Bearer ${TOKENHUB_API_KEY}' 
  -H 'Content-Type: application/json' 
  --data-raw '{
    "model": "hy3-preview",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain API rate limiting in two sentences."}
    ]
  }'

Asendage hy3-preview mudeliga, mis on teie võtme jaoks praegu lubatud. Päring sisaldab süsteemisõnumit, mis määrab käitumise, ja kasutajasõnumit, mis sisaldab ülesannet. Server tagastab JSON-vastuse, milles on üks või mitu valikut, sealhulgas assistendi sõnum.

Vastuse mõistmine ja API-stiili valimine

Tavalise Chat Completionsi vastuse puhul loeb rakenduse kood assistendi sisu üldjuhul esimesest valikust. Tootmiskasutuses kontrollige ka vastuse olekut, veaobjekti, lõpetamise teavet ja kasutusvälju, kui need on esitatud. Ärge eeldage, et kõik mudelid pakuvad täpselt samu valikulisi välju.

TokenHub pakub ka OpenAI-ga ühilduvat Responsesi lõpp-punkti:

POST /v1/responses

Chat Completions on tavaliselt kõige laiemalt ühilduv valik vestlussõnumite, voogedastuse ja tööriistakutsete jaoks. Responses sobib paremini vastusekesksetele töövoogudele, kus kasutatakse juhiseid, funktsioonikutse elemente, struktureeritud väljundit ja vastusepõhist sündmuste käsitlemist. Enne liidese vahetamist kontrollige valitud mudeli tuge.

Kuidas TokenHubi hinnastamine üldiselt toimib

TokenHubil ei ole kõigi mudelite jaoks ühtset universaalset hinda. Kasutustasud võivad erineda mudeliti ja tarbitava ressursi järgi. Sõltuvalt mudelist ja konto konfiguratsioonist võib hinnastus hõlmata sisendtokeneid, väljundtokeneid, vahemällu salvestatud tokeneid, arutlustokeneid, pildisisendit, pildiväljundit, otsingukutseid või muid mudelipõhiseid ühikuid.

Tencent pakub ettevõtete kasutuseks ka Token Plani lahendusi, mis hõlmavad kvoodikogumeid, API-võtmete haldust, mudelite juurdepääsu kontrolle ja kasutuse jälgimist. Tegelik hind ja kaasatud kvoot tuleb kontrollida praegusest TokenHubi mudelikataloogist või konto konfiguratsioonist.

Enne kulude hindamist määrake kindlaks täpne mudel, piirkond, päringu tüüp ning eeldatav sisendi ja väljundi maht. Token on tekstitöötluse ühik; pikemad viibad ja suuremad genereeritud vastused mõjutavad üldjuhul kasutust, kuid rakendatavad arvelduse mõõdikud sõltuvad mudelist. Ärge kasutage ühe mudeli hinnastust teise mudeli ligikaudse asendusena.

Olulised võimalused

Vastuste voogedastus

TokenHub toetab serverist saadetavate sündmuste voogedastust. Voogedastus võimaldab rakendusel kuvada genereeritud teksti järk-järgult, selle asemel et oodata kogu vastuse valmimist. Seadke ühilduvas Chat Completionsi päringus stream väärtuseks true ja lugege sündmusi kuni voo lõppemiseni.

Voog võib pärast esialgse HTTP-vastuse edukat saabumist sisaldada viga. Seetõttu peavad kliendid kontrollima sündmuste sisu veaobjektide suhtes ega tohi käsitleda üksnes HTTP-olekut tõendina, et genereerimine lõpetati edukalt.

Funktsiooni- ja tööriistakutsed

Funktsioonikutsed võimaldavad mudelil taotleda rakenduses määratletud toimingut, näiteks ilmaandmete hankimist või sisemise süsteemi päringut. Mudel ise funktsiooni ei käivita. Teie rakendus valideerib taotletud argumendid, teeb toimingu ära ja saadab tulemuse tagasi valitud API nõutud vormingus.

Chat Completionsis määratlege funktsioonid massiivis tools. Responsesi liideses kasutage vastavaid funktsioonikutse elemente ja tagastage funktsiooni väljund. Käsitlege tööriista argumente ebausaldusväärse sisendina: enne millegi käivitamist valideerige nimed, tüübid, õigused ja kõrvalmõjud.

Struktureeritud JSON-väljund

Ühilduvad Chat Completionsi mudelid võivad toetada struktureeritud väljundit response_format kaudu, sealhulgas json_object või json_schema. Responsesiga ühilduv liides kasutab text.format. JSON-skeem on kasulik siis, kui rakenduse kood vajab vabas vormis proosa asemel etteaimatavaid välju.

Tugi sõltub mudelist ja lõpp-punktist. Valideerige tagastatud JSON oma rakenduses ka siis, kui skeemi taotleti, ning andke selge juhis oodatavate andmete kohta.

Pildid, video, failid ja otsing

Ühilduvad multimodaalsed mudelid võivad vastu võtta pildisisendit toetatud pildi-URL-ide või kodeeritud sisu kaudu. Videotugi sõltub mudelist. Failisisend on ühilduvates vastusetöövoogudes saadaval failiidentifikaatorite, URL-ide või kodeeritud failiandmete kaudu, kuid failiotsing ja muud sisseehitatud tööriistad sõltuvad mudelist ja lõpp-punktist.

Valitud mudelid pakuvad ka veebiotsingu võimalusi, kui vajalik mudelivõimekus või ressursikonfiguratsioon on lubatud. Manused on toetatud teksti- ja multimodaalsete manustemudelite jaoks saadaval OpenAI-ga ühilduva manuste lõpp-punkti kaudu.

OpenAI Pythoni SDK kasutamine

Kuna TokenHub ühildub OpenAI-ga, saab praeguse OpenAI Pythoni SDK konfigureerida kohandatud baas-URL-iga. Installige pakett käsuga pip install openai ja määrake API-võti väljaspool lähtekoodi:

import os
from openai import OpenAI

api_key = os.environ["TOKENHUB_API_KEY"]

client = OpenAI(
    api_key=api_key,
    base_url="https://tokenhub.tencentmaas.com/v1",
)

response = client.chat.completions.create(
    model="hy3-preview",
    messages=[
        {"role": "system", "content": "You are a concise technical assistant."},
        {"role": "user", "content": "Give three practical retry recommendations."},
    ],
)

print(response.choices[0].message.content)

Eespool näidatud paketi- ja meetodistiil kasutab OpenAI Pythoni kliendi praegust põlvkonda. TokenHubi jaoks on oluline seada baas-URL; mudel peab siiski olema API-võtme jaoks lubatud.

Voogedastuse ja struktureeritud väljundi näited

Voogedastuspäring tagastab osaliste tükkide iteraatori:

stream = client.chat.completions.create(
    model="hy3-preview",
    messages=[
        {"role": "user", "content": "Explain server-sent events briefly."}
    ],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
print()

Struktureeritud väljundi puhul taotlege valitud mudeli toetatud skeemi:

response = client.chat.completions.create(
    model="hy3-preview",
    messages=[
        {"role": "user", "content": "Return a retry policy."}
    ],
    response_format={
        "type": "json_schema",
        "json_schema": {
            "name": "retry_policy",
            "strict": True,
            "schema": {
                "type": "object",
                "properties": {
                    "max_attempts": {"type": "integer"},
                    "backoff": {"type": "string"}
                },
                "required": ["max_attempts", "backoff"],
                "additionalProperties": False
            }
        }
    }
)

print(response.choices[0].message.content)

Enne selle mustri kasutamist kontrollige mudeli dokumentatsiooni. Struktureeritud väljundi tugi ei pruugi olla kõigi mudelite puhul saadaval.

Piirangud ja tootmiskasutuse kaalutlused

TokenHubil ei ole üht avalikku päringupiirangut, mis kehtiks kõigile päringutele. Piirangud sõltuvad mudelist, piirkonnast, kontost, API-võtmest ja teenuseplaanist. HTTP 429 näitab päringute piiramisest tingitud olukorda. Kui Tencent saadab päise Retry-After, järgige selle väärtust ja kasutage ajutiste tõrgete korral eksponentsiaalset taandumist.

Vanemas Hunyani dokumentatsioonis kirjeldati vaikimisi piiranguna viit samaaegset vestlust. Seda pärandpiirangut ei tohiks automaatselt TokenHubile üle kanda. Selle asemel kontrollige valitud mudeli ja plaani kehtivaid kvoote.

Kasutage saadavuse kontrollimiseks enne juurutamist /v1/models ja mudeli üksikasjade lehti.
Hoidke API-võtmeid saladuste halduris ja piirake need vajalike mudelite või teenustega.
Valige piirkondlik lõpp-punkt, mis vastab rakenduse juurutus- ja andmenõuetele.
Rakendage HTTP-tõrgete ja voo tasandi tõrgete jaoks ajalõppe, korduskatseid ja logimist.
Jälgige kasutust, latentsust ja tõrkeid mudeli, piirkonna, päringu tüübi ja API-võtme kaupa.
Testige eraldi pikki viipasid, suuri faile, multimodaalseid sisendeid ja tööriistakutsete tõrkeid.
Vaadake konkreetse mudeli ja lepingu puhul üle privaatsuse, säilitamise, treeninguks kasutamise ja piirkondliku töötlemise tingimused.

SDK-d, konsool ja arendajatööriistad

TokenHubi konsool pakub API-võtmete haldust, mudelite sirvimist ja kasutuse jälgimist. Tencent pakub ka API-dokumentatsiooni, API Exploreri võimalusi ja mudelipõhiseid näiteid. OpenAI-ga ühilduvaid Pythoni ja JavaScripti SDK-sid saab järelduseks kasutada, muutes baas-URL-i. Lihtne võimalus on ka toor-HTTPS-päringute kasutamine.

Tencent Cloud haldab ka allkirjastatud juhtkihi SDK-sid sellistele keeltele nagu Python, Java, PHP, Go, Node.js, .NET, C++ ja Ruby. Need SDK-d on OpenAI-ga ühilduvast järeldusliidesest eraldi. Tavaliste mudelipäringute puhul on ühilduv klient või toor-HTTP üldjuhul lihtsam; Tencenti allkirjastatud SDK-sid kasutage Tencent Cloudi juhtkihi teenustega suhtlemiseks.

Millal on TokenHub hea või halb valik

TokenHub sobib hästi siis, kui meeskond soovib kasutada Tencent Hunyani ja teisi toetatud mudeleid tuttavate OpenAI või Anthropicuga ühilduvate protokollide kaudu, vajab piirkondlikku Tencent Cloudi juurdepääsu või soovib keskset mudelite, võtmete ja kasutuse haldust. Ühilduvus võib vähendada esmaseks integratsiooniks vajaliku kliendikoodi hulka.

See võib olla halb valik siis, kui rakendus vajab funktsiooni, mida valitud mudel või piirkond ei toeta, universaalset püsiva assistendi käituskeskkonda, kõigi mudelite ühtselt tagatud säilitamispoliitikat või üht kindlat hinda ja päringupiirangut. Võimekust, hinnastust ja andmekäitlust tuleb hinnata mudeli, piirkonna ja konto tasandil.

Uue juurutuse puhul on praktiline lähtekoht valida piirkond, luua piiratud õigustega TokenHubi võti, kontrollida /v1/models, testida väikest Chat Completionsi päringut ning lisada voogedastus, tööriistad või struktureeritud väljund alles pärast valitud mudeli toe kinnitamist.

Allikad 12