Pildikirjelduste loomine tehisintellektiga

Mida tehisintellekt suudab pildiga teha

Pildi kirjeldamise tööriistad kasutavad mudelit, mis võtab sisendiks pildi ja tagastab teksti või struktureeritud teabe. Olenevalt rakendusest või mudelist võib selle abil küsida üldist pealkirja, pildil nähtavate objektide ja tegevuste kirjeldust, pildil oleva teksti väljavõtet, vastuseid visuaalsetele küsimustele või sisuhaldussüsteemi jaoks mõeldud metaandmeid.

Sama pilt võib vajada väga erinevaid kirjeldusi. Tootekirjelduses võivad olla vajalikud nähtavad omadused ja toote atribuudid. Ekraanilugeja jaoks võib vaja minna lühikest teksti, mis selgitab pildi eesmärki lehel. Muuseumiandmebaasi kirje võib vajada pikemat kirjeldust, milles kasutatakse täpset terminoloogiat ja teadaolevaid ajaloolisi fakte. Sisemine otsingusüsteem võib vajada viimistletud proosa asemel silte ja märksõnu.

Tehisintellekt on tavaliselt kõige kasulikum mustandi loomise ja töö mahu suurendamise vahendina. See võib säästa aega tavaliste piltide puhul ja aidata suurt kogu sortida, kuid ladus sõnastus ei tõesta, et kõik detailid on õiged.

Vali kõigepealt kirjelduse tüüp

Enne pildi üleslaadimist otsusta, kus tulemust kasutatakse ja millist teavet lugeja vajab.

• Lühike pealkiri: Põhiteema, tegevuse ja ümbruse lühikirjeldus.
• Alternatiivtekst: Lühike tekst, mis edastab pildi eesmärgi või kontekstis samaväärse teabe.
• Pikk kirjeldus: Põhjalikum selgitus diagrammi, skeemi, kaardi, tehnilise illustratsiooni või muu keeruka visuaali kohta.
• OCR või transkriptsioon: Sõnad, mis on näha ekraanipildil, sildil, etiketil, vormil või dokumendis.
• Metaandmed: Struktureeritud väljad, nagu objektid, nähtav tekst, keel, teemad, sildid või ülevaatuse olek.
• Visuaalse küsimuse vastus: Vastus konkreetsele pildiga seotud küsimusele, mitte üldine pealkiri.

Ära palu ühel lõigul kõiki neid eesmärke täita. Lühikesel alternatiivtekstil, toimetatud pealkirjal ja otsitavatel metaandmetel on erinevad pikkuse- ja täpsusnõuded.

Praktiline viis kirjelduse loomiseks

1. Määratle eesmärk. Ütle tehisintellektile, kas tulemus on mõeldud alternatiivtekstiks, tootekataloogi, sotsiaalmeediapostituse, otsingu, dokumentatsiooni, klienditoe vastuse või muu kasutuse jaoks. Lisa asjakohane ümbritsev tekst või lehe kontekst.
2. Kontrolli pilti enne üleslaadimist. Paranda selle pööramine ja kasuta piisavalt selget versiooni. Kui väike tekst on oluline, kasuta kvaliteetsemat pilti või spetsiaalset OCR-protsessi. Ära kärbi välja seoseid, mida kirjeldus peab selgitama.
3. Anna selged juhised. Määra sihtrühm, keel, pikkus, toon ja väljundvorming. Palu süsteemil kirjeldada vaadeldavaid fakte ja märkida ebakindlus, mitte oletada.
4. Küsi sobival tasemel üksikasju. Lihtsa foto puhul palu lühikest kirjeldust või keeruka diagrammi puhul lühikest silti, millele järgneb üksikasjalik selgitus.
5. Kontrolli mustandit pildi põhjal. Vaata üle tekst, nimed, numbrid, objektide arv, tähendust kandvad värvid, asukohad ning kõik inimeste või tundlike omaduste kohta käivad väited.
6. Toimeta tekst sihtkoha jaoks. Eemalda tarbetu visuaalne loetelu, kordused, subjektiivne sõnastus ja detailid, mis on lähedal juba esitatud. Seejärel testi tulemust tegelikus veebisaidi, kataloogi, rakenduse või ekraanilugeja töövoos.

Näited juhistest, mis annavad kasulikumad tulemused

Ebamäärane palve, näiteks „Kirjelda seda pilti”, võib anda üldise pealkirja. Kontekst ja piirangud muudavad tulemuse kasulikumaks.

Lihtsa foto puhul:

„Kirjuta sisemise pildikogu jaoks üks lühike kirjeldus. Maini põhiteemasid, nende tegevust, ümbrust ja kogu selgelt nähtavat teksti. Kirjelda ainult seda, mida saab vaadelda. Ära arva ära isikuid, emotsioone ega asukohti.”

Ligipääsetavuse jaoks:

„See pilt on lehel, mis käsitleb ranniku erosiooni. Kirjuta lühike alternatiivtekst, mis selgitab pildi eesmärki selles kontekstis. Ära loetle kõiki taustadetaile. Kui pilt on dekoratiivne või ei lisa lähedal olevale tekstile teavet, ütle seda.”

Diagrammi puhul:

„Määra diagrammi tüüp, pealkiri, teljed, legend, üldine suundumus ja kõige olulisemad väärtused. Eralda tähelepanekud ebakindlusest. Tagasta esmalt lühike kirjeldus ja seejärel üksikasjalik kokkuvõte. Ära käsitle ligikaudseid näite kui täpseid.”

Ekraanipildi puhul:

„Transkribeeri nähtav veateade võimaluse korral täpselt, seejärel kirjelda asjakohast liidese olekut ja juhtelemente. Märgi kõik tähemärgid, milles sa kindel ei ole. Ära tuleta ekraanipildi põhjal üksi probleemi põhjust.”

Automatiseeritud töövoogude puhul palu eraldi välju, nagu short_caption, alt_text, visible_text, uncertain_claims ja review_required. Struktureeritud väljund võib muuta tulemuste salvestamise lihtsamaks, kuid skeemide tugi ja nende järgimise tagamine erinevad rakenduste ja API-de vahel.

Alternatiivtekst vajab konteksti

Alternatiivtekst ei ole lihtsalt loetelu kõigest nähtavast. Selle eesmärk sõltub pildi rollist.

• Dekoratiivse pildi puhul võib vaja minna tühja alternatiivteksti, et see ei tekitaks ekraanilugeja kasutajatele tarbetut müra.
• Informatiivne pilt peaks edastama lehe jaoks olulise teabe.
• Funktsionaalne pilt peaks selgitama tegevust või sihtkohta, mitte lihtsalt kirjeldama ikooni välimust.
• Olulist teksti sisaldava pildi puhul võib olla vaja esitada see tekst ligipääsetaval kujul.
• Keeruka diagrammi, kaardi või skeemi puhul võib lisaks lühikesele alternatiivtekstile vaja minna pikemat kirjeldust, tabelit, transkriptsiooni või andmetega samaväärset esitust.
• Kui pildiga kaasneb lähedal olev tekst, võib kirjeldus olla lühem, kui ümbritsev sisu annab juba asjakohase teabe.

Tehisintellekt võib need variandid mustandina koostada, kuid ainult pikslite põhjal ei saa see kindlaks teha õiget eesmärki. Anna süsteemile lehe kontekst ja kontrolli, kas kirjeldus aitab inimest, kes ei näe pilti.

Kus pildi kirjeldamise tehisintellekt hästi toimib

Tehisintellekt on sageli kasulik tavaliste fotode, illustratsioonide, ekraanipiltide ja lihtsamate tootepiltide esmaste mustandite puhul. See suudab tuvastada silmapaistvaid teemasid, üldisi tegevusi, keskkondi, nähtavat teksti ja üldisi seoseid. Samuti võib see vastata sihitud küsimustele, kirjeldusi tõlkida või ümber sõnastada ning luua kogu jaoks ühtseid välju.

Suure meediakogu puhul võib pakktöötlus luua otsitavaid pealkirjade ja siltide mustandeid. Mõistlik süsteem salvestab pildi identifikaatori, juhise või skeemi versiooni, mudeli konfiguratsiooni, loodud teksti, ülevaatuse oleku, muudatused ja ajatemplid. Inimestega pildid, tundlik sisu, halva kvaliteediga pildid, loetamatu tekst või ebakindel väljund tuleks automaatse avaldamise asemel suunata ülevaatusjärjekorda.

Spetsiaalsed tööriistad võivad olla parem valik, kui ülesanne sõltub ülitäpsest OCR-ist, dokumendi paigutusest, diagrammiandmete eraldamisest, objektituvastusest, segmenteerimisest, tööstuslikust kontrollist, georuumilisest analüüsist või meditsiinipiltide tõlgendamisest. Üldotstarbeline visuaal-keelemudel ei tohiks spetsiaalset valdkonnasüsteemi automaatselt asendada.

Levinud vead, mida jälgida

Visioonimudelid võivad koostada usutavaid, kuid ebatäpseid kirjeldusi. Väike tekst, ebatavalised fondid, udusus, helgid, madal kontrastsus, tihendamine, pööramine ja väike eraldusvõime võivad halvendada nii OCR-i kui ka üldist arusaamist. Tihedalt täidetud stseenid ja osaliselt peidetud objektid võivad põhjustada ebatäpseid loendusi või detailide märkamata jäämist.

Mudelid võivad segi ajada sarnaseid tooteid või liike, pidada illustratsiooni fotoks, lugeda logosid valesti või kirjeldada ruumisuhteid ebatäpselt. Diagrammid, tabelid, kaardid ja tehnilised joonised on eriti riskantsed, kui täpsed väärtused või asukohad on olulised. Pildi suuruse muutmine, plaatideks jagamine või rakendusepõhine töötlemine võib eemaldada ülesande jaoks olulisi detaile.

Ole eriti ettevaatlik väidetega inimese identiteedi, emotsioonide, kavatsuste, tervise, ameti või muude tundlike omaduste kohta. Nähtavaid rõivaid, kehahoiakut või esemeid võib kirjeldada vaatlustena, kuid järeldused inimese kohta on sageli põhjendamata oletused.

Privaatsus, autoriõigus ja turvalisus

Enne isiklike, konfidentsiaalsete, reguleeritud, ärisaladust sisaldavate või turvatundlike piltide üleslaadimist tutvu täpselt selle teenuse andmekasutuse, säilitamise, juurdepääsu, kustutamise ja lepingutingimustega. Tarbijarakendused, äripaketid, ettevõtteteenused ja API-d võivad andmeid käsitleda erinevalt. Kui neid pole vaja, hägustada või eemaldada näod, aadressid, kontonumbrid, meditsiinilised andmed, numbrimärgid, dokumendid ja juurdepääsuandmed.

Veendu, et sul on pildi esitamiseks ja saadud kirjelduse avaldamiseks vajalikud õigused ja load. Õigus algset pilti töödelda, algse pildi õigused ning loodud teksti võimalikud õigused on eri küsimused. Tehisintellekti abil loodud väljundi autoriõiguslik käsitlus võib sõltuda inimautorsusest ja konkreetse teose asjaoludest, mistõttu ei tohiks kirjeldust pidada automaatselt kaitstuks ega kaitseta olevaks.

Ära kasuta tehisintellekti loodud kirjeldust ainsa alusena meditsiiniliste, juriidiliste, töö-, haridus-, eluaseme-, kindlustus-, finants-, ohutus-, turva- või õiguskaitseotsuste tegemisel. Suure mõjuga või kutsealase regulatsiooni alla kuuluvate ülesannete puhul kasuta pädeva inimese kontrolli või sobivat spetsialiseeritud süsteemi.

Millal tehisintellekt ei sobi

Kasuta muud lähenemist, kui täpne transkriptsioon, mõõtmine, loendamine, ruumiline lokaliseerimine või tehniline tõlgendus on hädavajalik ja valitud süsteemi pole selle jaoks valideeritud. Meditsiiniliste uuringupiltide, kohtuekspertiisi tõendite, tööstusohutuse piltide, insenerikontrollide ning õiguslikult kinnitatud või spetsialisti allkirjastatud tulemuste puhul on eelistatavad inimeksperdid või spetsiaalsed tööriistad.

Tehisintellekt ei sobi samuti siis, kui teenuse konfidentsiaalse materjali käsitlemist ei saa kinnitada, sul puudub pildi üleslaadimiseks luba või tähendus sõltub kultuurilistest, ajaloolistest, õiguslikest või valdkonnateadmistest, mida süsteem ei suuda usaldusväärselt kontrollida. Kui vaja on vaid mõnda kvaliteetset kirjeldust, võib inimene olla kiirem ja täpsem.

Viimane kontroll enne kirjelduse kasutamist

• Kas see vastab pildile ja pildi eesmärgile kontekstis?
• Kas nimed, kuupäevad, numbrid, sildid, hinnad ja nähtav tekst on õiged?
• Kas objektide arv, asukohad, värvid ja seosed on selle kasutuse jaoks piisavalt usaldusväärsed?
• Kas see sisaldab oletusi identiteedi, emotsioonide, kavatsuste, tervise või muude tundlike omaduste kohta?
• Kas see on alternatiivteksti jaoks piisavalt lühike või vajab pilt pikemat samaväärset kirjeldust?
• Kas lähedal olev tekst annab juba osa sellest teabest?
• Kas inimene on üle vaadanud sisu, mis võib mõjutada ligipääsetavust, ohutust, privaatsust, mainet või äriotsust?
• Kas lähtepilti võib õiguslikult ja lepinguliselt töödelda ning avaldada?

Tehisintellekti pildikirjelduse parim kasutus on tavaliselt abistav: anna pilt ja kontekst, küsi piiratud ulatusega mustandit, kontrolli olulisi üksikasju ning kohanda tulemus sihtkoha järgi. Nii saab kasutada kiiruse eeliseid, käsitlemata ladusat pealkirja tõendatud ülevaatena kõigest pildil olevast.