Arendaja platvorm

TII Falcon Developer Platform

Technology Innovation Institute (TII) ülevaade arendajatele, mis hõlmab API-juurdepääsu, hinnastust, SDK-tuge, lõppunkte, võimekusi ja platvormi reegleid.

Dokumentatsioon API juhend

API võti Nõutud

Peamine API Amazon Bedrock Runtime Converse API hallatavate Falconi juurutuste jaoks; isehostitud inferentsi API-d lokaalselt juurutatud Falconi mudelite jaoks

SDK tugi Kontrollitud ametlikku TII SDK-d ei ole. Hallatavate integratsioonide puhul võib kasutada AWS-i SDK-sid, näiteks boto3 ja AWS SDK for JavaScripti, või ühilduvaid HTTP-kliente.

Päringupiirangud Universaalset TII päringupiirangut ei õnnestunud kinnitada. Hallatavad piirangud sõltuvad hostist; Amazon Bedrock rakendab konto-, piirkonna-, mudeli- ja läbilaskevõime kvoote, samas kui SageMakeri piirangud sõltuvad lõpp-punkti mahust ja skaleerimisest.

Platvorm

API ülevaade

Lõppunktid (endpoints)

API ligipääs

Peamine API Amazon Bedrock Runtime Converse API hallatavate Falconi juurutuste jaoks; isehostitud inferentsi API-d lokaalselt juurutatud Falconi mudelite jaoks

Hinnad

API Hinnad

Hinnakujundusmudel Avatud kaaludega ja isehostitav juurutus; hallatud inferents partnerite pilveplatvormide kaudu, kasutades nende arvelduse ja autentimise süsteeme

Ühtki universaalset TII hallatava API hinda ei õnnestunud kinnitada. Falconi mudelite kasutamine võib kehtiva litsentsi alusel olla tasuta, samas kui Amazon Bedrocki ja SageMakeri kasutuse eest esitab arve AWS.

Arendaja töömugavus

SDK info

SDK Kontrollitud ametlikku TII SDK-d ei ole. Hallatavate integratsioonide puhul võib kasutada AWS-i SDK-sid, näiteks boto3 ja AWS SDK for JavaScripti, või ühilduvaid HTTP-kliente.

Kasutusmugavus Mõõdukas. Ise majutamine eeldab teadmisi mudelite käitamisest ja GPU-dest; hallatud juurutamine AWS-is on lihtsam, kuid nõuab AWS-i konfigureerimist ja mudelipõhist seadistamist.

Dokumentatsioon Mõõdukas. TII pakub mudelite tutvustuslehti, litsentsiteavet, teadusuuringuid ja väljalaseteavet, samal ajal kui üksikasjalikud API-toimingud on dokumenteeritud valitud majutusteenuse pakkuja poolt.

Viivitus Juurutusest sõltuv. Latentsus varieerub olenevalt mudeli suurusest, piirkonnast, GPU või hallatava lõpp-punkti võimekusest, järjekordadest, viiba pikkusest ja mudeli teenindamise konfiguratsioonist.

Allikad

Viited arendajale

Dokumentatsioon ↗ API juhend ↗ Liivakast ↗

Featuurid

API võimekused

✓ Voogedastus

✓ Funktsioonide kasutamine

✓ Peenhäälestamine

✓ Pildi sisend

✓ Liivakast

Lühikirjeldus

TII ei paista pakkuvat universaalset esimese osapoole hallatavat järeldusmootori lõpp-punkti ega API-võtmeteenust. Praegune arendajatele suunatud pakkumine koosneb ametlikest Falconi mudelite väljalasetetest, mudelihoidlatest, litsentsidest ja juurutamisest kolmanda osapoole taristu kaudu. Amazon Bedrock Marketplace ja SageMaker JumpStart pakuvad hallatud juurdepääsu valitud Falconi mudelitele. Voogedastus on toetatud Bedrocki ConverseStream API kaudu, kui valitud mudel ja juurutus seda toetavad. Funktsioonikutseid saab kasutada mõne uuema TII/Falconi mudelivariandi või teeninduskonfiguratsiooni puhul, kuid see võimalus ei ole kogu kataloogis universaalselt saadaval. Pildisisend on saadaval valitud multimodaalsetes TII mudelites, näiteks Falcon Perceptionis, kuid mitte kõigis Falconi tekstimudelites. Struktureeritud väljund, failide üleslaadimine, veebiotsing ja püsivad assistendid sõltuvad majutuskihi või konkreetse mudeli funktsioonidest ning nende olemasolu tuleks valitud juurutuse puhul eraldi kontrollida. TII ei paku kontrollitud esimese osapoole püsivat assistenti ega agentide käituskeskkonda.

Näited

API Näited

# Requires an Amazon Bedrock API key with access to a compatible OpenAI-style Bedrock endpoint.
# Set AWS_REGION, BEDROCK_API_KEY, and FALCON_MODEL_ID before running.

curl --fail-with-body "https://bedrock-runtime.${AWS_REGION}.amazonaws.com/openai/v1/chat/completions" \
  -H "Authorization: Bearer ${BEDROCK_API_KEY}" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "'"${FALCON_MODEL_ID}"'",
    "messages": [
      {
        "role": "system",
        "content": "You are a concise technical assistant."
      },
      {
        "role": "user",
        "content": "Explain what Falcon models are in two sentences."
      }
    ],
    "temperature": 0.2,
    "max_tokens": 200
  }' | jq -r '.choices[0].message.content'

# Install: pip install boto3

import os
import time
import boto3
from botocore.exceptions import ClientError

region = os.environ.get("AWS_REGION", "us-east-1")
model_id = os.environ["FALCON_MODEL_ID"]

client = boto3.client("bedrock-runtime", region_name=region)

messages = [
    {
        "role": "user",
        "content": [
            {
                "text": "Give a short explanation of Falcon models."
            }
        ],
    }
]

try:
    response = client.converse(
        modelId=model_id,
        system=[
            {
                "text": "You are a precise technical assistant."
            }
        ],
        messages=messages,
        inferenceConfig={
            "temperature": 0.2,
            "maxTokens": 200,
        },
    )
    text = response["output"]["message"]["content"][0]["text"]
    print(text)
except ClientError as error:
    code = error.response.get("Error", {}).get("Code", "Unknown")
    message = error.response.get("Error", {}).get("Message", str(error))
    if code in {"ThrottlingException", "ServiceUnavailableException", "ModelTimeoutException"}:
        time.sleep(2)
        raise RuntimeError(f"Transient Bedrock error; retry the request: {message}") from error
    raise RuntimeError(f"Bedrock request failed: {message}") from error

# Advanced example: streaming output through the Bedrock ConverseStream API.
stream = client.converse_stream(
    modelId=model_id,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "text": "List three practical Falcon deployment options."
                }
            ],
        }
    ],
    inferenceConfig={"maxTokens": 250},
)

for event in stream.get("stream", []):
    delta = event.get("contentBlockDelta", {}).get("delta", {})
    if "text" in delta:
        print(delta["text"], end="", flush=True)
print()

// Install: npm install @aws-sdk/client-bedrock-runtime

import {
  BedrockRuntimeClient,
  ConverseCommand,
  ConverseStreamCommand,
} from "@aws-sdk/client-bedrock-runtime";

const region = process.env.AWS_REGION || "us-east-1";
const modelId = process.env.FALCON_MODEL_ID;

if (!modelId) {
  throw new Error("Set FALCON_MODEL_ID to the selected Falcon deployment identifier.");
}

const client = new BedrockRuntimeClient({ region });

try {
  const response = await client.send(
    new ConverseCommand({
      modelId,
      system: [{ text: "You are a concise technical assistant." }],
      messages: [
        {
          role: "user",
          content: [{ text: "Explain Falcon models in two sentences." }],
        },
      ],
      inferenceConfig: {
        temperature: 0.2,
        maxTokens: 200,
      },
    }),
  );

  const text = response.output?.message?.content
    ?.map((item) => item.text || "")
    .join("");
  console.log(text || "No text returned");
} catch (error) {
  console.error("Falcon request failed:", error instanceof Error ? error.message : error);
  process.exitCode = 1;
}

const stream = await client.send(
  new ConverseStreamCommand({
    modelId,
    messages: [
      {
        role: "user",
        content: [{ text: "List three Falcon deployment options." }],
      },
    ],
    inferenceConfig: { maxTokens: 250 },
  }),
);

for await (const event of stream.stream || []) {
  const text = event.contentBlockDelta?.delta?.text;
  if (text) process.stdout.write(text);
}
process.stdout.write("\n");

<?php

$region = getenv('AWS_REGION') ?: 'us-east-1';
$apiKey = getenv('BEDROCK_API_KEY');
$modelId = getenv('FALCON_MODEL_ID');

if (!$apiKey || !$modelId) {
    fwrite(STDERR, "Set BEDROCK_API_KEY and FALCON_MODEL_ID.\n");
    exit(1);
}

$url = "https://bedrock-runtime.{$region}.amazonaws.com/openai/v1/chat/completions";
$payload = [
    'model' => $modelId,
    'messages' => [
        [
            'role' => 'system',
            'content' => 'You are a concise technical assistant.'
        ],
        [
            'role' => 'user',
            'content' => 'Explain Falcon models in two sentences.'
        ]
    ],
    'temperature' => 0.2,
    'max_tokens' => 200
];

$ch = curl_init($url);
curl_setopt_array($ch, [
    CURLOPT_POST => true,
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_HTTPHEADER => [
        'Authorization: Bearer ' . $apiKey,
        'Content-Type: application/json',
        'Accept: application/json'
    ],
    CURLOPT_POSTFIELDS => json_encode($payload, JSON_THROW_ON_ERROR),
    CURLOPT_TIMEOUT => 120
]);

$body = curl_exec($ch);
if ($body === false) {
    $error = curl_error($ch);
    curl_close($ch);
    throw new RuntimeException('Network error: ' . $error);
}

$status = curl_getinfo($ch, CURLINFO_RESPONSE_CODE);
curl_close($ch);

$data = json_decode($body, true);
if ($status < 200 || $status >= 300) {
    $message = $data['error']['message'] ?? $body;
    throw new RuntimeException("HTTP {$status}: {$message}");
}

if (!isset($data['choices'][0]['message']['content'])) {
    throw new RuntimeException('The response did not contain assistant text.');
}

echo $data['choices'][0]['message']['content'] . PHP_EOL;

Põhimõtted

Andmete kasutus

TII avatud mudelite väljalasked on saadaval mudelipõhiste litsentside ja tingimuste alusel. Hallatud inferentsi korral reguleerivad esitatud viipasid ja väljundeid peamiselt valitud hostingu-teenusepakkuja andmetöötlus- ja teenusetingimused. Ühtset TII-ülest API treenimiseeskirja universaalse hostitud lõpp-punkti jaoks ei õnnestunud kinnitada. Organisatsioonid peaksid tutvuma konkreetse TII mudeli litsentsi ning Amazon Bedrocki, SageMakeri, Hugging Face’i või muu valitud hostingu-teenusepakkuja eeskirjadega.

Andmete säilitamine

Ühtki universaalset TII hallatava API andmete säilitamise poliitikat ei ole kinnitatud, sest TII-l ei näi olevat ühtainsat avalikku hostitud järeldus-API-t. Andmete säilitamine, logimine, salvestamine ja piirkondlik töötlemine sõltuvad sellest, kas mudelit majutatakse ise või kasutatakse seda mõne teenusepakkuja, näiteks Amazon Bedrocki või SageMakeri kaudu. Ise majutamisel saab operaator säilitamise ja logimise juhtelemente ise seadistada.

Päringupiirangud

Universaalset TII päringupiirangut ei õnnestunud kinnitada. Hallatavad piirangud sõltuvad hostist; Amazon Bedrock rakendab konto-, piirkonna-, mudeli- ja läbilaskevõime kvoote, samas kui SageMakeri piirangud sõltuvad lõpp-punkti mahust ja skaleerimisest.

Arendaja juhend

TII Falcon Developer API: ligipääs, mudelid ja juurutusjuhend

TII Falconi arendajaplatvorm on eelkõige avatud mudelite ja juurutamise ökosüsteem, mitte universaalne esimese osapoole hallatav API. Arendajad saavad Falconi mudelite kaalud alla laadida ja mudeleid ise majutada, kasutada ametlikke mudelihoidlaid või pääseda valitud Falconi juurutustele ligi partnerteenuste, näiteks Amazon Bedrock Marketplace’i ja SageMaker JumpStarti kaudu. Autentimine, arveldamine, limiidid, lõpp-punktid ja andmekäitlus sõltuvad valitud majutusviisist.

TII Falcon on mõeldud arendajatele ja organisatsioonidele, kes soovivad juurutada avatud või avatud juurdepääsuga keele- ja multimodaalseid mudeleid, mitte kasutada üht suletud vestlusroboti API-t. Praktilised võimalused on ametlike Falconi mudelite majutamine oma taristus või hallatava pilvetaristu kasutamine, eelkõige Amazon Bedrocki ja SageMakeri kaudu. Selles juhendis selgitatakse, mille poolest need võimalused erinevad, kuidas teha esimene päring hallatava teenuse kaudu, millised võimalused mudeliti erinevad ja mida tuleks enne tootmiskasutust kontrollida.

TII Falcon on eelkõige avatud mudelite arendajaökosüsteem, mitte universaalne esimese osapoole hostitud API. Arendajad saavad ametlikud Falconi väljalasked ise majutada või kasutada valitud mudeleid Amazon Bedrock Marketplace’i ja SageMaker JumpStarti kaudu. Juhend käsitleb juurdepääsu, AWS-i autentimist, mudeli valikut, Pythoniga tehtavaid päringuid, voogedastust, hinnastamist, tööriistade kutsumist, faile, struktureeritud väljundeid, SDK-sid, kvoote ja tootmiskasutusega seotud kompromisse.

Mis on TII Falconi arendaja-API?

Technology Innovation Institute (TII) ei näi pakkuvat universaalset esimese osapoole hallatavat järeldus-API-t, millel oleks üks TII baas-URL, üks API-võti ja kogu konto ulatuses kehtiv kvoodisüsteem. Selle asemel keskendub TII arendajatele mõeldud pakkumine Falconi avatud ja avatud juurdepääsuga mudelite perekonnale, ametlikele mudelihoidlatele, mudelilitsentsidele, teadusväljaannetele ja juurutusjuhistele.

Falconi rakenduses kasutamiseks on kaks peamist võimalust:

Enda serveris majutamine: laadige TII ametlikest hoidlatest alla lubatud mudel ja pakkuge seda järeldusraamistiku, näiteks Transformersi, vLLM-i või mõne muu ühilduva serveri abil.
Hallatud majutus: juurutage toetatud Falconi mudel pilveteenuse pakkuja kaudu või kutsuge seda sealt. Esitatud uuringu põhjal on kõige selgemalt dokumenteeritud hallatud lahendused Amazon Bedrock Marketplace ja Amazon SageMaker JumpStart.

See eristus on oluline. TII pakub mudelit ja sellele kohaldatavat litsentsi, samal ajal kui valitud majutusteenuse pakkuja pakub tavaliselt lõpp-punkti, autentimist, kvoote, arveldamist, skaleerimist ja halduskontrolle.

Kellele Falcon sobib?

Falcon sobib kõige paremini arendajatele, teadlastele ja organisatsioonidele, kes vajavad kontrolli mudeli juurutamise, andmete asukoha, taristu või mudeli valiku üle. See on asjakohane ka siis, kui meeskond soovib hinnata mitmekeelseid, araabia keelele keskenduvaid, tõhusaid, servaseadmetele suunatud või multimodaalseid mudeleid.

Algajale, kes ootab küpset tarbijatele mõeldud API-t ühe tellimuse, universaalse funktsioonikomplekti, püsivate assistentide, sisseehitatud veebiuuringute ja garanteeritud hallatud kättesaadavusega, on see vähem otsene valik. Need funktsioonid ei ole kogu Falconi ökosüsteemis universaalselt saadaval ning TII ei pruugi neid ise pakkuda.

Juurdepääsu ja mandaatide hankimine

Enda serveris majutamise korral alustage täpsest Falconi mudelihoidlast ja mudelikaardist ning vaadake seejärel üle litsents, riistvaranõuded, toetatud tarkvara ja kasutuspiirangud. Mudelikaalude allalaadimine ei loo TII API-kontot ega anna teile TII API-võtit.

Hallatud AWS-i juurdepääsu jaoks looge AWS-i konto või kasutage olemasolevat, valige Amazon Bedrock Marketplace'ist või SageMaker JumpStartist toetatud Falconi pakkumine ning veenduge, et mudel oleks vajalikus AWS-i piirkonnas saadaval. Kehtivad AWS-i mandaadid, õigused, konto kvoodid ning võimalikud turuplatsi- või teenusetingimused. Mudeli identifikaator sõltub juurutusest ja see tuleks kopeerida AWS-i konsoolist või pakkumise lehelt, mitte võtta mõnest sõltumatust näitest.

Ärge eeldage, et TII konto, Falconi veebirakendus või allalaaditud mudel annab mandaadid Bedrocki või mõne muu majutusteenuse pakkuja jaoks. Praeguste materjalide põhjal ei ole olemas kontrollitud universaalset TII API-võtit ega TII hallatavat baas-URL-i.

Mudeli ja API-tee valimine

Valige esmalt teenindusviis ning kontrollige seejärel konkreetse Falconi mudeli võimalusi. Tekstipõhised väljalasked erinevad multimodaalsetest mudelitest, näiteks Falcon Perceptionist, ning ka mudeli ja selle teeninduskihi tugi võib erineda.

Nõue	Tõenäoline lahendus	Mida kontrollida
Hallatud vestluslik järeldus	Amazon Bedrock Runtime	Mudeli ID, piirkond, Converse'i tugi, kvoodid ja AWS-i hinnakujundus
Kohandatud andmekontroll või privaatne juurutus	Enda serveris majutatud järeldus	Litsents, GPU-võimekus, teenindusraamistik, turvalisus ja skaleerimine
Hallatud lõpp-punkti juurutus	Amazon SageMaker JumpStart	Eksemplari tüüp, lõpp-punkti võimekus, skaleerimine ja juurutuse maksumus
Nägemis- või OCR-töökoormused	Toetatud multimodaalne Falconi väljalase	Pildi formaat, sisendskeem, mudeli kättesaadavus ja majutusteenuse tugi

Falcon-H1, Falcon-H1-Tiny, Falcon 3, Falcon Perception, Falcon Arabic, Falcon Mamba ja teised TII väljalasked ei pruugi pakkuda samu sisendeid ega väljundifunktsioone. Kontrollige, kas valitud juurutus toetab pildisisendit, heli- või videoanalüüsi, tööriistakutseid, voogedastust ja vajalikku sõnumivormingut.

Esimese päringu tegemine Amazon Bedrockiga

Hallatud AWS-i integratsiooni korral on praegu soovitatav kasutada Bedrock Runtime'i Converse toimingut. See pakub toetatud mudelite jaoks ühist sõnumipõhist liidest, samal ajal kui AWS haldab autentimist ja hallatud lõpp-punkti. Täpne Falconi mudeli ID tuleb võtta valitud AWS-i juurutusest.

Installige AWS-i SDK Pythoni jaoks ja seadistage standardsed AWS-i mandaadid tavalise AWS-i mandaadiahela abil. Enne näite käivitamist määrake AWS_REGION ja FALCON_MODEL_ID:

pip install boto3

import os
import boto3

region = os.environ.get("AWS_REGION", "us-east-1")
model_id = os.environ["FALCON_MODEL_ID"]

client = boto3.client("bedrock-runtime", region_name=region)

response = client.converse(
    modelId=model_id,
    system=[
        {"text": "You are a concise technical assistant."}
    ],
    messages=[
        {
            "role": "user",
            "content": [
                {"text": "Explain what Falcon models are in two sentences."}
            ],
        }
    ],
    inferenceConfig={
        "temperature": 0.2,
        "maxTokens": 200,
    },
)

text = response["output"]["message"]["content"][0]["text"]
print(text)

Selles näites kasutatakse Bedrock Runtime'i praegust boto3 klienti ja omavormingus Converse'i päringu struktuuri. TII-spetsiifilist API-võtit ei kasutata, sest päring autentitakse AWS-i kaudu.

Vastuse mõistmine

Converse'i vastus sisaldab väljundsõnumit ühe või mitme sisublokiga. Tavalise tekstivastuse korral asub genereeritud tekst asukohas response["output"]["message"]["content"]. Tootmiskood ei tohiks eeldada, et iga vastus sisaldab täpselt üht tekstiplokki: valitud mudel ja API-funktsioonid võivad anda erineva sisustruktuuri.

Rakendused peaksid kontrollima ka vastuse metaandmeid ja vigu, säilitama võimaluse korral päringu identifikaatorid ning käsitlema piirkiiruse ületamist ja ajutisi teenusetõrkeid. Hoidke mudeli ID konfigureeritavana, et juurutust saaks muuta rakenduse loogikat ümber kirjutamata.

Kuidas hinnakujundus üldiselt toimib?

Kogu Falconi jaoks ei ole ühtset TII avalikku API-hinda, mis kataks kogu kasutuse. Avatud mudelite kaalud võivad olla allalaaditavad ilma TII-poolse märgipõhise API-tasuta, arvestades asjaomase mudeli litsentsi ja tingimusi. Mudeli allalaadimine ei tähenda, et selle käitamine oleks tasuta: enda serveris majutamisega kaasnevad endiselt taristu-, salvestus-, võrgu-, seire- ja arenduskulud.

Hallatud juurdepääsu eest esitab arve valitud teenusepakkuja. Amazon Bedrockis sõltuvad kulud ja kättesaadavus mudeli pakkumisest, kasutus- või läbilaskevõimekorraldusest, AWS-i piirkonnast ning kohaldatavatest AWS-i või turuplatsi tingimustest. SageMakeri juurutustega võivad lisanduda lõpp-punkti arvutus-, salvestus- ja skaleerimiskulud. Enne tootmiskulude hindamist kontrollige kehtivat AWS-i pakkumist ja konsooli; uuring ei kinnita universaalset Falconi hinda ega kindlat märgipõhist tasumäära.

Võimalused, millele arendajad pääsevad ligi

Falconi võimalused sõltuvad mudelist ja majutusteenuse pakkujast, mitte kogu platvormist ühetaoliselt.

Teksti genereerimine ja vestlus: toetatud vestluslikes Falconi mudelites, kui teeninduskiht aktsepteerib sõnumeid või samaväärset viibavormingut.
Mitmekeelsus ja araabia keel: saadaval asjakohastes Falconi väljalasetes, kuid keele kvaliteet ja toetatud keeled erinevad mudeliti.
Pildisisend ja OCR: saadaval valitud väljalasetes, näiteks Falcon Perceptionis ja teistes nägemisele suunatud mudelites, kuid mitte kogu Falconi kataloogis.
Heli- ja videoanalüüs: kirjeldatud valitud Falcon 3 materjalides, kuid täpne sisendvorming ja hallatud kättesaadavus tuleb üle kontrollida.
Koodi genereerimine ja arutlemine: mõne uuema Falconi variandi, sealhulgas tõhusaks juurutuseks mõeldud väiksemate mudelite reklaamitud funktsioonid.
Tööriista- või funktsioonikutsed: saadaval mõne uuema mudeli või teeninduskonfiguratsiooni puhul, kuid mitte universaalselt kogu Falconis.

Failide üleslaadimist, veebiotsingut, püsivaid assistente, agendikäituskeskkondi ja struktureeritud JSON-väljundit ei tohiks käsitleda TII API vaikimisi funktsioonidena. Neid võivad rakendada majutusteenuse pakkuja, rakenduskiht või mudelispetsiifiline teeninduspakett ning need tuleb valitud juurutuse puhul eraldi kontrollida.

Voogedastus ja täpsemad päringud

Amazon Bedrock pakub toetatud mudelite vastuste voogedastuseks ConverseStream toimingut. Voogedastus tagastab genereerimise käigus osalise sisu sündmusi, võimaldades liidesel teksti järk-järgult kuvada, selle asemel et oodata kogu vastuse valmimist.

stream = client.converse_stream(
    modelId=model_id,
    messages=[
        {
            "role": "user",
            "content": [
                {"text": "List three practical Falcon deployment options."}
            ],
        }
    ],
    inferenceConfig={"maxTokens": 250},
)

for event in stream.get("stream", []):
    delta = event.get("contentBlockDelta", {}).get("delta", {})
    if "text" in delta:
        print(delta["text"], end="", flush=True)
print()

Voogedastuse tugi sõltub valitud mudelist ja juurutusest. Käsitlege sündmuste struktuuri Bedrocki API lepingu osana ning testige seda täpselt selle Falconi pakkumisega, mida kavatsete kasutada.

Tööriistakutsed, failid ja struktureeritud väljund

Mõni Falconi variant või teeninduskonfiguratsioon võib toetada funktsiooni- või tööriistakutseid. Uuring ei kinnita siiski universaalset TII tööriistakutsete skeemi. Enne tööriistakutsetel põhineva rakenduse loomist kontrollige valitud mudeli sisendi- ja väljundilepingut.

Kontrollitud universaalset TII failide üleslaadimise API-t ei ole. Multimodaalsed või dokumenditöötlusmudelid võivad aktsepteerida kindlaid sisutüüpe, kuid failikäsitlus võib kuuluda ka majutusteenuse pakkujale või teie enda rakendusele. Levinud integratsioonimuster on failide valideerimine oma teenuses, nende teisendamine valitud mudeli nõutud vormingusse ning suurus- ja sisupiirangute rakendamine enne järelduse käivitamist.

Ka struktureeritud väljundit ei ole kogu platvormi hõlmava Falconi funktsioonina kinnitatud. Kui rakendus vajab ranget JSON-väljundit, valideerige genereeritud vastus oma rakenduses ning kontrollige, kas valitud majutusteenuse pakkuja ja mudel pakuvad toetatud piiratud väljundi mehhanismi. Ärge eeldage, et tavaline tekstivastus vastab skeemile lihtsalt seetõttu, et see meenutab JSON-i.

SDK-d, mänguväljad ja arendajatööriistad

TII-l ei ole kontrollitud esimese osapoole SDK-d universaalse hallatud Falconi API jaoks. AWS-i hallatud juurdepääsu korral kasutage valitud keele jaoks praegust AWS-i SDK-d, näiteks boto3 Pythoni või @aws-sdk/client-bedrock-runtime JavaScripti jaoks. Need SDK-d kasutavad AWS-i autentimist ja Bedrock Runtime'i API-t.

Amazon Bedrocki konsooli saab kasutada saadaolevate mudelite kontrollimiseks ja hallatud juurutustega katsetamiseks, arvestades konto juurdepääsu ja piirkondlikku kättesaadavust. TII pakub ka ametlikke mudelilehti ja hoidlaid enda serveris majutamiseks. Kohalik juurutus võib pakkuda valitud järeldusraamistiku API-t, kuid selle lõpp-punkti loob ja seda haldab juurutav organisatsioon, mitte TII.

Olulised piirangud ja tootmiskasutuse kaalutlused

Esitatud uuringus ei tuvastatud universaalset TII piirkiirust, latentsusgarantiid ega käideldavuslubadust. Hallatud piirangud sõltuvad teenusepakkujast: Bedrock rakendab konto-, piirkonna-, mudeli- ja läbilaskevõimekvoote, samal ajal kui SageMakeri käitumine sõltub lõpp-punkti võimekusest ja skaleerimiskonfiguratsioonist. Enda serveris majutamise latentsus sõltub riistvarast, mudeli suurusest, pakettide töötlemisest, järjekordadest, viiba pikkusest ja teeninduskonfiguratsioonist.

Enne tootmises juurutamist kontrollige täpse mudeli ja majutusteenuse pakkuja puhul kõiki järgmisi asjaolusid:

litsentsiga antud õigused, sealhulgas piirangud jagatud hallatud järeldusele või peenhäälestusele;
mudeli kättesaadavus vajalikus piirkonnas;
toetatud sõnumi-, pildi-, heli-, video- või dokumendivormingud;
voogedastus, tööriistakutsed ja struktureeritud väljundi käitumine;
kvoodid, samaaegsus, ajalõpu käitumine ja korduskatsete juhised;
järelduse, lõpp-punkti võimekuse, salvestuse ja turuplatsi teenuste arveldamine;
andmete säilitamine, logimine, piirkondlik töötlemine ning treenimise või täiustamise tingimused;
ohutuse hindamine, seire, autentimine ja väärkasutuse kontrollid.

Enda serveris majutamine annab suurema kontrolli andmete asukoha ja säilitamise üle, kuid käitaja vastutab siis GPU-võimekuse, skaleerimise, võrguturbe, juurdepääsukontrolli, jälgitavuse, paikamise, ohutuskontrollide ja mudeliuuenduste eest. Hallatud majutus vähendab taristuga seotud tööd, kuid lisab sõltuvuse teenusepakkujast ning teenusepakkujaspetsiifilised kulud ja eeskirjad.

Millal on Falcon hea või halb valik?

Falcon on hea valik, kui meeskond soovib allalaaditavaid mudelikaale, võimalust majutada mudelit enda serveris, kontrolli juurutuse üle või juurdepääsu konkreetsetele mitmekeelsetele, araabia keelele keskenduvatele, tõhusatele, servaseadmetele mõeldud või multimodaalsetele uurimismudelitele. See võib sobida ka organisatsioonidele, kes juba kasutavad AWS-i taristut ja soovivad valitud Falconi väljalaskeid Bedrocki või SageMakeri kaudu.

See on kehvem valik siis, kui põhinõue on üks viimistletud API, millel on stabiilne mudeliteülene käitumine, üks hinnakiri, universaalne JSON-i jõustamine, sisseehitatud veebiotsing, püsivad assistendid või laialdane esimese osapoole tugi. Neid omadusi ei ole kogu TII Falconi ökosüsteemi puhul kinnitatud.

Kõige turvalisem lähenemine on käsitleda mudelit, majutusteenuse pakkujat ja teenindus-API-t ühe juurutuslepinguna. Valige täpne Falconi väljalase, kontrollige selle litsentsi ja võimalusi, kasutage majutusteenuse pakkuja praegust omavormingus SDK-d või API-t ning hoidke mudeli identifikaatorid ja teenusepakkujaspetsiifilised sätted konfigureeritavana.

Allikad 10

www.tii.ae ↗ falconllm.tii.ae ↗ tii.ae/insights/tiny-models-real-world-intelligence ↗ huggingface.co/tiiuae ↗ huggingface.co/tiiuae/falcon-7b ↗ aws.amazon.com/blogs/machine-learning/tii-falcon-h1-models-now-available-on-amazon-bedrock-marketplace-and-amazon-sagemaker-jumpstart/ ↗ docs.aws.amazon.com/bedrock/latest/userguide/inference.html ↗ docs.aws.amazon.com/bedrock/latest/userguide/models-api-compatibility.html ↗ docs.aws.amazon.com/bedrock/latest/APIReference/Welcome.html ↗ docs.aws.amazon.com/bedrock/latest/userguide/scaling-throughput-best-practices.html ↗