EXAONE API through FriendliAI

1. Mis on praegune EXAONE API?

EXAONE ei ole praegu kättesaadav LG AI Researchi laialt dokumenteeritud API kaudu, millel oleks eraldi avalik lõpp-punkt, hinnakirjaleht, SDK-pakett või arendajakonsool. Kõige otsesem hallatud võimalus on FriendliAI kaudu pakutav EXAONE 4.0 API.

FriendliAI pakub OpenAI-ga ühilduvat mudeli API-t. See tähendab, et arendajad saavad kasutada tuttavaid vestluse lõpetamise päringumustreid, muutes ainult API-võtit, baas-URL-i ja mudeli nime. Praegune serverless-baas-URL on https://api.friendli.ai/serverless/v1 ning dokumenteeritud EXAONE 4.0 32B mudeli identifikaator on LGAI-EXAONE/EXAONE-4.0-32B.

Teine võimalus on majutada mudelit ise. Ametlikud EXAONE-i mudeliversioonid on saadaval Hugging Face'is LG-AI-EXAONE'i organisatsiooni all ning neid saab käitada selliste tööriistadega nagu Transformers, vLLM või SGLang. Ise majutades kontrollite teeninduskeskkonda, kuid vastutate ka GPU-de, autentimise, skaleerimise, jälgimise, latentsuse, kvootide ja rakenduse töökindluse eest.

Kellele see API sobib?

FriendliAI integratsioon on mõeldud arendajatele, kes soovivad kasutada EXAONE 4.0 hallatud kujul ilma GPU-taristut ise ette valmistamata. See võib olla eriti asjakohane korea- ja mitmekeelsete rakenduste, professionaalsete või dokumendipõhiste töövoogude, agentide katsetamise ning EXAONE-i hindavate meeskondade jaoks, kes ei soovi ise mudelite teenindamise pinu hallata.

Ise majutamine on sobivam siis, kui andmete asukoht, taristu kontroll, kohandamisvõimalused või prognoositav vastutus juurutamise eest on hallatud toimingutest olulisemad. Kumbagi võimalust ei tohiks käsitleda tavalise LG hallatava tarbijatele mõeldud vestlusroboti API-na.

2. Juurdepääsu saamine ja autentimisandmete hankimine

Hallatud lahenduse kasutamiseks looge FriendliAI konto või kasutage olemasolevat kontot ning hankige Friendli API-luba FriendliAI platvormi kaudu. Hoidke luba saladusena, eelistatavalt keskkonnamuutujas nimega FRIENDLI_TOKEN. Ärge lisage seda brauserikoodi, avalikesse repositooriumidesse ega mobiilirakenduste kliendipoolsesse koodi.

API-päring kasutab standardset bearer-autentimist:

Authorization: Bearer $FRIENDLI_TOKEN

LG AI Research ei avalda praegu kommertskasutuseks mõeldud EXAONE-i lõpp-punkti jaoks eraldi esimese osapoole võtmesüsteemi. Seega on hallatud API konto-, autentimisandmete, arvelduse, kvootide ja juurdepääsu suhe FriendliAI-ga.

Ise majutatud juurdepääs

Ise majutatud juurutus ei kasuta FriendliAI arveldust ega autentimisandmeid, välja arvatud juhul, kui paigutate selle eraldi oma lüüsi või teenindusplatvormi taha. Peate rakendama oma rakenduse jaoks vajalikud autentimis- ja juurdepääsukontrollid. Enne kommertskasutust tuleks üle vaadata ka mudeli litsents ja juurutustingimused.

3. Sobiva API- või mudelitee valimine

Selle juhendi näidetes kasutatakse FriendliAI Serverless Endpointi kaudu LGAI-EXAONE/EXAONE-4.0-32B. EXAONE 4.0 toetab arutlus- ja mittearutlusrežiimi ning korea, inglise ja hispaania keelt. Enne nendele omadustele tootmiskeskkonnas tuginemist kontrollige juurutatud mudeli täpset käitumist ja toetatud parameetreid.

4. Esimese päringu tegemine

Kõige lihtsam päring on vestluse lõpetamise päring. See saadab sõnumite loendi ja saab vastuseks assistendi vastuse. Esmalt installige praegune OpenAI Pythoni pakett ja määrake Friendli luba oma keskkonnas:

pip install openai
export FRIENDLI_TOKEN="your-token"

Seejärel seadistage OpenAI klient FriendliAI-ga ühilduva baas-URL-iga:

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["FRIENDLI_TOKEN"],
    base_url="https://api.friendli.ai/serverless/v1",
)

response = client.chat.completions.create(
    model="LGAI-EXAONE/EXAONE-4.0-32B",
    messages=[
        {"role": "system", "content": "You are a concise technical assistant."},
        {"role": "user", "content": "Explain what an API is in one sentence."},
    ],
    temperature=0.2,
    max_tokens=128,
)

print(response.choices[0].message.content)

Sama toimingu saab teha ka otse HTTP-päringuga:

curl --fail-with-body --silent --show-error 
  https://api.friendli.ai/serverless/v1/chat/completions 
  -H "Authorization: Bearer ${FRIENDLI_TOKEN}" 
  -H "Content-Type: application/json" 
  -d '{
    "model": "LGAI-EXAONE/EXAONE-4.0-32B",
    "messages": [
      {"role": "user", "content": "Explain what an API is in one sentence."}
    ],
    "temperature": 0.2,
    "max_tokens": 128
  }'

5. Vastuse mõistmine

Edukas vestluse lõpetamise vastus järgib tuttavat OpenAI-ga ühilduvat struktuuri. Genereeritud tekst asub Pythoni SDK-s tavaliselt väljal response.choices[0].message.content. Vastus võib sisaldada ka metaandmeid, näiteks identifikaatorit, mudeliteavet, lõpetamise põhjust ja kasutusteavet, kui teenus seda pakub.

Rakendused ei tohiks eeldada, et kõik valikulised väljad on alati olemas. Kontrollige puuduva sisu, ootamatute lõpetamispõhjuste, API-vigade ja vigaselt vormindatud tööriistaargumentide suhtes. Kasutajale suunatud rakendustes lisage päringutele ajalõpp ja selge veakäsitlus, mitte ärge käsitlege iga ebaõnnestunud päringut tühja vastusena.

6. Kuidas hinnastamine toimib

LG AI Research ei avalda eraldi EXAONE-i API hinnakirja. FriendliAI integratsioon on hallatud järeldusteenus, mistõttu määrab hinnad ja kontotingimused FriendliAI. Esitatud dokumentatsioonis ei olnud EXAONE-i konkreetset avalikku hinda võimalik kontrollida.

FriendliAI pakub ka Dedicated Endpointi, mis põhineb eraldatud juurutusvõimsusel, mitte ainult päringupõhisel serverless-kasutusel. Õige valik sõltub töökoormuse iseloomust, kättesaadavusnõuetest ja teie kontole pakutavatest võimsustingimustest.

Enne tootmiskasutusele üleminekut kontrollige otse FriendliAI-lt kehtivat hinnamudelit, kvoote, piirkondlikku saadavust, päringupiiranguid, arvestusühikut ja võimalikke miinimumkohustusi. Ärge hinnake projekti maksumust üldise FriendliAI hinnakirjelduse põhjal, sest EXAONE-i konkreetsed kommertstingimused võivad erineda.

7. Olulised võimalused ja puuduvad funktsioonid

Tekstigeneratsioon ja keeled

Avalik EXAONE 4.0 API-tee on tekstipõhine. Mudel toetab arutlus- ja mittearutlusrežiimi ning selle dokumentatsioonis on märgitud korea, inglise ja hispaania keele tugi. Kättesaadav käitumine sõltub juurutatud mudelist ja lõpp-punkti seadistusest.

Vastuste voogedastus

Voogedastus saadab genereeritud teksti osade kaupa, selle asemel et oodata täieliku vastuse valmimist. See on vestlusliideste puhul kasulik, sest rakendus saab osalist väljundit varem kuvada.

stream = client.chat.completions.create(
    model="LGAI-EXAONE/EXAONE-4.0-32B",
    messages=[
        {"role": "user", "content": "List three practical uses of structured data."}
    ],
    stream=True,
    max_tokens=256,
)

for chunk in stream:
    text = chunk.choices[0].delta.content or ""
    print(text, end="", flush=True)
print()

Voogedastuse korral peab rakendus töötlema osalisi tükke ja ühenduse katkemisi ning arvestama võimalusega, et lõplikku vastust ei saadeta. Salvestage lõplik tulemus alles pärast voo edukat lõppu.

Tööriistade ja funktsioonide kutsumine

EXAONE 4.0 toetab agentlikku tööriistakasutust ja funktsioonide kutsumist. Tööriista määratlus ütleb mudelile, mida rakenduse hallatav funktsioon teha saab; mudel ise seda funktsiooni ei käivita. Teie server peab kontrollima päringu argumente, toimingu sooritama ja soovi korral saatma tulemuse tagasi vestluse järgmises voorus.

tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get weather for a city",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"]
        }
    }
}]

tool_response = client.chat.completions.create(
    model="LGAI-EXAONE/EXAONE-4.0-32B",
    messages=[{"role": "user", "content": "What is the weather in Seoul?"}],
    tools=tools,
    tool_choice="auto",
)

message = tool_response.choices[0].message
if message.tool_calls:
    call = message.tool_calls[0]
    print(call.function.name)
    print(call.function.arguments)
else:
    print(message.content)

Ärge kunagi käivitage suvalisi tööriistaargumente ilma neid kontrollimata. Piirake tööriistad toimingutega, mille taotlemiseks on kasutajal õigus, ning rakendage tavapäraseid rakendusturbe meetmeid.

Struktureeritud väljundid ja JSON

FriendliAI reklaamib oma Model API platvormil JSON-režiimi ja skeemipõhiseid väljundeid. Need funktsioonid võivad olla kasulikud siis, kui rakendus vajab vabateksti asemel masinloetavaid andmeid. Enne tootmiskasutust tuleb siiski kontrollida nende tuge valitud EXAONE-i lõpp-punkti ja mudeli kombinatsioonis. Platvormitaseme funktsioonikirjeldus ei tõenda, et iga juurutatud mudel toetab kõiki struktureeritud väljundi valikuid.

Failid, pildid ja muud hallatud funktsioonid

Praegune avalik EXAONE 4.0 API dokumentatsioon ei anna usaldusväärset kinnitust hallatud failide üleslaadimise, pildisisendi, hallatud veebiotsingu, püsivate assistentide ega teenusepakkuja hallatava peenhäälestuse kohta LG AI Researchi esimese osapoole API kaudu. Käsitlege lõpp-punkti tekstipõhisena, välja arvatud juhul, kui FriendliAI kinnitab teie konto ja mudeli puhul konkreetse võimaluse olemasolu.

8. SDK-d, mänguväljak ja arendajatööriistad

Kuna lõpp-punkt ühildub OpenAI-ga, saavad arendajad kasutada praeguseid ametlikke OpenAI Pythoni või JavaScripti SDK-sid, määrates FriendliAI kohandatud baas-URL-i. Toor-HTTP sobib samuti juhul, kui soovite päringute üle otsest kontrolli. Ühilduvus ei tähenda, et kõik OpenAI funktsioonid oleksid automaatselt saadaval; testige iga parameetrit FriendliAI juurutuses.

FriendliAI pakub EXAONE 4.0 juurutuse jaoks veebikonsooli ja Serverless Endpointi ülevaadet. See on hallatud API-ga seotud mänguväljaku-laadne kasutuskogemus. See ei tõenda eraldi LG AI Researchi arendajakonsooli ega natiivse LG SDK olemasolu.

9. Täiustatud integratsioon ja tootmiskasutuse kaalutlused

Seadistus, ajalõpud ja korduspäringud

Hoidke baas-URL, mudeli identifikaator ja luba rakendusekoodist väljaspool, et neid saaks muuta ilma uut juurutust tegemata. Seadistage päringutele selged ajalõpud. Korrake ainult selliseid päringuid, mida on ohutu korrata, kasutage viivitusega kordusstrateegiat ja vältige tööriistatoimingute dubleerimist juhul, kui päring võis olla lõpetatud, kuid ühendus katkes.

Kvoodid ja latentsus

EXAONE-i kohta ei leitud avalikku päringupiirangute tabelit, garanteeritud latentsuse sihttaset ega kontrollitud latentsusmõõtmist. FriendliAI kirjeldab oma platvormi väikese latentsusega järelduste jaoks optimeerituna ning pakub serverless- ja spetsiaalseid juurutusvõimalusi, kuid tegelik jõudlus sõltub kontost, lõpp-punktist, päringu suurusest, liiklusest ja juurutuse seadistusest. Enne kasutajatele vastamisaegade lubamist kontrollige kvoote ja teenusetaseme kohustusi.

Privaatsus, säilitamine ja andmekäitlus

FriendliAI hallatud lõpp-punkti kaudu saadetud viipade ja väljundite kohta ei õnnestunud kontrollida praegust EXAONE-i konkreetset säilitamisperioodi ega põhjalikku poliitikat. Enne konfidentsiaalse või reguleeritud teabe saatmist tutvuge FriendliAI privaatsus-, andmetöötlus- ja teenusetingimustega. Ise majutamine annab operaatorile järeldusandmete üle suurema kontrolli, kuid ka rakenduse logisid, jälgimissüsteeme, varukoopiaid ja taristupakkujaid tuleb nõuetekohaselt hallata.

Mudeli- ja teenusemuudatused

Hallatud API toimib partneri vahendusel. Tulevane LG otseteenus, uus FriendliAI juurutus või mõni teine EXAONE-i mudel võib kasutada teistsuguseid identifikaatoreid, URL-e, autentimisreegleid, kvoote või toetatud parameetreid. Kinnitage mudeli seadistus võimaluse korral kindlale versioonile ja testige muudatusi enne tootmisliikluse ümberlülitamist.

10. Millal on see API hea või halb valik?

Hea valik siis, kui

• Soovite hallatud juurdepääsu EXAONE 4.0-le ilma GPU-sid käitamata.
• Teie rakendus saab kasu korea, inglise või hispaania keele toest.
• Vajate OpenAI-ga ühilduvaid vestluse lõpetamisi, voogedastust või tööriistade kutsumist.
• Hindate EXAONE-i professionaalsete, dokumendipõhiste või agentlike töövoogude jaoks ning aktsepteerite partneri hallatavat juurdepääsu.
• Vajate ise majutamise võimalust ja olete valmis taristut ise haldama.

Halb valik siis, kui

• Vajate selgelt dokumenteeritud esimese osapoole LG API-t, millel on stabiilsed hinnad, SDK-d, kvoodid ja tugiprotsess.
• Teie rakendus sõltub avaliku lõpp-punkti kaudu hallatud failide üleslaadimisest, veebiotsingust, püsivatest assistentidest või pildisisendist.
• Vajate enne hindamist avalikult kontrollitud EXAONE-i päringupiirangute tabelit, säilitamisperioodi või latentsuse teenusetaseme lepingut.
• Soovite küpset tarbijarakenduste ökosüsteemi, mitte mudeli API-t ja juurutusplatvormi.

Esimeseks katsetuseks on FriendliAI OpenAI-ga ühilduv Serverless Endpoint lühim tee: hankige luba, seadistage baas-URL, valige EXAONE 4.0 mudel ja tehke vestluse lõpetamise päring. Tundlike või taristu üle suuremat kontrolli nõudvate töökoormuste puhul võrrelge hallatud lahendust nõuetekohaselt turvatud ise majutatud juurutusega.