Databricks Data + AI Platform

Mis on Databricks?

Databricks on pilvepõhine platvorm, mis ühendab andmetöötluse ja tehisintellekti ühes kohas. Selle keskne toode on Databricks Data + AI Platform, mida kasutatakse andmete kogumiseks ja ettevalmistamiseks, analüütika käitamiseks, masinõppemudelite loomiseks, juhtpaneelide koostamiseks ning generatiivse tehisintellekti rakenduste arendamiseks.

Algaja jaoks võib Databricksist mõelda kui andme- ja tehisintellektiprojektide ühisest veebipõhisest töökojast. Selle asemel et kasutada andmetöötluseks, SQL-analüüsiks, märkmikeks, masinõppeks, mudelite juurutamiseks ja halduseks eraldi tööriistu, saab meeskond paljusid neist tegevustest hallata samal platvormil.

Databricks põhineb lakehouse'i lähenemisel. Praktilises mõttes tähendab see, et platvorm püüab ühendada andmejärve paindlikkuse ja skaleeritavuse andmelaole traditsiooniliselt omase struktuuri ja töökindlusega. Platvormi saab kasutada veebibrauseri kaudu tööruumides ning seda saab juurutada platvormidel Amazon Web Services, Microsoft Azure või Google Cloud.

Databricks asutati 2013. aastal ning on suunatud peamiselt professionaalsetele ja ettevõtete töökoormustele. See ei ole tavapärane tarbijatele mõeldud vestlusrobot, üldotstarbeline kontoritarkvara ega lihtne iseseisev tehisintellektiassistent.

Milleks saab Databricksi kasutada?

Databricks on kõige kasulikum siis, kui töö hõlmab suuri andmemahte, korratavat andmetöötlust, analüüsi või tehisintellektisüsteeme, mis peavad toimima organisatsiooniliste kontrollimehhanismide all. Levinud kasutusviisid on järgmised:

• Andmete ettevalmistamine: eri allikatest pärineva teabe puhastamine, teisendamine, ühendamine ja korrastamine, et seda saaks analüüsida.
• Andmetöötlus: korduvate andmekanalite loomine, mis liigutavad ja töötlevad teavet automaatselt.
• Analüütika: andmete päringud SQL-i abil, nende uurimine märkmikes ning juhtpaneelide loomine aruandluseks ja otsuste tegemiseks.
• Masinõpe: prognooside või liigitamise jaoks kasutatavate mudelite treenimine, hindamine, jälgimine ja teenusena kättesaadavaks tegemine.
• Generatiivne tehisintellekt: alusmudelite ehk üldotstarbeliste tehisintellektimudelite kasutamine, mis suudavad luua teksti või täita muid ülesandeid, ning nende rakendustesse integreerimine.
• Tehisintellektiagendid: süsteemide loomine, mis suudavad mitmeetapiliste ülesannete täitmiseks kasutada andmeid, tööriistu või töövooge.
• Haldus: andmetele, mudelitele ja tehisintellektiteenustele juurdepääsu kontrollimine ning nende kasutamise jälgimine.
• Mudelite teenusena pakkumine: treenitud või valitud mudeli rakendustele kättesaadavaks tegemine hallatava teenuse kaudu.

Näiteks võib ettevõte kasutada Databricksi müügi- ja klienditoeandmete ühendamiseks, juhtidele mõeldud juhtpaneeli loomiseks, nõudluse prognoosimise mudeli treenimiseks ning siseassistendi ehitamiseks, mis vastab küsimustele ettevõtte heakskiidetud teabe põhjal. Õpilane või huviline võib seda kasutada hoopis Pythoni ja SQL-i õppimiseks, andmestiku uurimiseks, märkmiku loomiseks või tehisintellektirakendusega katsetamiseks.

Mida tasuta versioon sisaldab?

Databricks Free Edition on püsivalt tasuta pakkumine õpilastele, õpetajatele, huvilistele ning andme- ja tehisintellektioskuste õppijatele. See on mõeldud isiklikuks, õppe- ja mitteäriliseks kasutuseks. Seetõttu sobib see platvormi proovimiseks ilma kohe tasulisele juurutusele pühendumata.

Free Edition pakub serverita tööruumi, mis tähendab, et Databricks haldab teie eest selle aluseks olevaid arvutusressursse. See toetab näiteks uurivat andmeanalüüsi, märkmikke, juhtpaneele, tehisintellektirakendusi ja -agente, loomulikus keeles suhtlemist Genie kaudu, kodeerimisabi Genie Code'i kaudu, Lakeflow' kanaleid ning tehisintellektimudelitega katsetamist.

Free Edition ei ole siiski professionaalse platvormi piiranguteta versioon. Olulised piirangud on järgmised:

• Kasutus on piiratud isiklike, õppe- ja mitteäriliste eesmärkidega.
• Kasutatakse serverita ressursse ning klassikalist arvutust see ei paku.
• Sellel on kasutuskvoodid ja õiglase kasutuse piirangud.
• See ei paku ettevõtte tasemel haldust ega teenusetaseme lepingut.
• Tugi on piiratud ning saadavus ei ole tagatud samal viisil nagu tasulise ettevõttelahenduse puhul.
• See ei paku kõiki kontotaseme haldusliideseid.
• Seda ei tohiks automaatselt pidada sobivaks keskkonnaks konfidentsiaalse äriteabe jaoks.

Databricks märgib Free Editioni materjalides, et jätab endale õiguse kasutada Free Editioni andmeid treenimiseks. Seetõttu peaksid kasutajad kohaldatavad tingimused hoolikalt läbi vaatama ning vältima tundliku, omandiõigusega kaitstud või konfidentsiaalse teabe üleslaadimist, välja arvatud juhul, kui nad on nende tingimustega nõus.

Free Editioni ei saa otse täisplatvormiks uuendada. Kui kasutaja vajadused kasvavad sellest välja, tuleb luua eraldi konto ettevõtetele mõeldud prooviversiooni või tasulise juurutuse jaoks. Databricks pakub ka eraldi piiratud kestusega ettevõtetele mõeldud prooviversiooni kasutuskrediitidega, mida ei tohiks segi ajada püsivalt tasuta väljaandega.

Mida tasulised valikud juurde annavad?

Databricks loetleb Premiumi ja Enterprise'i valikud, kuid selle hinnastamine ei ole üldjuhul lihtne fikseeritud tellimus piiramatu kasutusega. Tasud sõltuvad tavaliselt pilveteenuse pakkujast, piirkonnast, valitud teenustest, kasutatud arvutusmahust, töökoormusest ja juurutusviisist.

Tasulised juurutused on mõeldud professionaalseks ja äriliseks tööks. Need võivad pakkuda laiemat haldust, tootmiskeskkonna andmetöövooge, ettevõtte tasemel haldust, tugiteenuseid ning Free Editioni piiranguid ületavaid arvutusressursse. Organisatsioonid saavad Databricksi kasutada töökoormuste jaoks, mis vajavad ajastatud töötlemist, jagatud juurdepääsu, mudelite teenusena pakkumist, jälgimist ning kasutajate ja andmete üle kontrolli.

Ka tehisintellektimudelitele juurdepääs võib järgida erinevaid hinnastusviise. Foundation Model API-de puhul võib kehtida märgipõhine kasutuspõhine hinnastus, mille puhul sõltuvad tasud töödeldud teksti või muu andmehulga suurusest, või eraldatud läbilaskevõime hinnastus, mille puhul reserveeritakse juurutuse jaoks kindel maht. Täpsed hinnad sõltuvad mudelist ja juurutusest, seega peaksid kasutajad projekti eelarve hindamisel kontrollima Databricksi kehtivaid hindu.

Peamine praktiline erinevus seisneb selles, et Free Edition on mõeldud õppimiseks ja katsetamiseks, samal ajal kui tasulised Databricksi keskkonnad on loodud organisatsioonide püsivate töökoormuste jaoks. Arvutus- ja teenusekulud võivad kiiresti kasvada, kui andmekanalid, märkmikud, mudelite lõpp-punktid või muud ressursid töötavad sageli.

Kuidas Databricksiga alustada?

Enamik inimesi alustab Databricksi veebisaidi kaudu. Õppija saab registreeruda Free Editioni kasutajaks, kui kavandatav kasutus vastab selle nõuetele. Ettevõte võib alustada eraldi prooviversiooni või korraldada tasulise juurutuse AWS-is, Azure'is või Google Cloudis.

Pärast tööruumi sisenemist töötavad kasutajad tavaliselt märkmike, SQL-redaktorite, juhtpaneelide, andmetööriistade või tehisintellektifunktsioonidega. Märkmik on interaktiivne dokument, milles saab koos hoida koodi, selgitusi, tulemusi ja visualiseeringuid. Python ja SQL on Databricksi keskkonnas eriti olulised, kuigi täpsed saadaolevad tööriistad sõltuvad tööruumist ja kontost.

Algajatel võib olla kõige lihtsam alustada väikese ja mittetundliku andmestikuga. Sobivad esimesed projektid on andmestiku laadimine, selle veergude uurimine, kirjete filtreerimine SQL-i abil, lihtsa diagrammi loomine ning protsessi dokumenteerimine märkmikus. Kasutust tasub jälgida ka prooviperioodi ajal, sest pilvearvutus ja mõned platvormifunktsioonid võivad tekitada tasusid, mis ei kuulu tasuta kasutusmahu sisse.

Olulised funktsioonid

Märkmikud, SQL ja juhtpaneelid

Databricks toetab interaktiivseid märkmikke koodi kirjutamiseks, andmete uurimiseks ja tulemuste talletamiseks. Selle SQL-i võimalused on mõeldud andmete päringute tegemiseks ja analüüsimiseks, juhtpaneelid aga aitavad tulemusi teistele esitleda. See kombinatsioon võimaldab meeskonnal liikuda algandmetest aruandeni, eksportimata iga sammu eraldi tööriista.

Andmekanalid ja töövood

Andmekanalid automatiseerivad korduvaid samme, nagu teabe kogumine, puhastamine, teisendamine ja uuendamine. Töövood saavad töid ajastada ja ühendada mitu ülesannet, vähendades vajadust sama protsessi iga päev käsitsi käivitada.

Masinõpe ja mudelite teenusena pakkumine

Databricks sisaldab tööriistu masinõppemudelite arendamiseks ja haldamiseks. Pärast mudeli treenimist saab Model Serving selle rakendusele või töövoole kättesaadavaks teha. See on kasulik näiteks prognoosimise, soovituste, dokumentide liigitamise või tehisintellektil põhinevate äriprotsesside puhul.

Generatiivne tehisintellekt ja agendid

Databricks toetab Databricksi hostitud, avatud ja väliseid alusmudeleid. Sõltuvalt valitud mudelist ja konfiguratsioonist saavad arendajad saata teksti, pilte või faile, kasutada funktsioonikutseid, taotleda struktureeritud väljundeid ning ehitada rakendusi mudelite vastuste ümber.

Agendid on rakendused, mis saavad ühe vastuse tagastamise asemel kasutada tööriistu, teabeallikaid või ärilisi töövooge mitme sammu täitmiseks. Databricksis saab need süsteemid ühendada hallatavate andmete ja mudeliteenustega. Täpsed võimalused sõltuvad tööruumist, mudelist, pilvest, piirkonnast ja õigustest.

Unity Catalog ja haldus

Unity Catalog on Databricksi halduskiht andmete, mudelite ja muude varade korraldamiseks ning neile juurdepääsu kontrollimiseks. Lihtsustatult aitab see organisatsioonil otsustada, kes võib konkreetset teavet kasutada, kuidas seda teavet hallatakse ja kuidas tegevust jälgitakse.

Haldus on üks põhjuseid, miks Databricks on ettevõtetele olulisem kui lihtne vestlusrobot. Ettevõtted peavad sageli eristama avalikke, sisemisi, konfidentsiaalseid ja piiratud juurdepääsuga andmeid ning neil võib olla vaja arvestust selle kohta, kuidas mudeleid ja andmeid kasutatakse.

Arendajate juurdepääs ja integratsioonid

Databricks pakub tööruumi ja konto REST API-sid selliste ülesannete jaoks nagu tööde, SQL-i andmeladude, klastrite, teeninduslõpp-punktide, andmete ja halduse juhtimine. REST API-d on veebipõhised liidesed, mis võimaldavad tarkvaral platvormiga suhelda.

Ametlikud tarkvaraarenduskomplektid ehk SDK-d on saadaval Pythonile, JavaScriptile, Go-le ja Javale. Databricks dokumenteerib ka R-i SDK, MLflow Deployments SDK ning OpenAI-ga ühilduva juurdepääsu toetatud mudeliteenuse töökoormuste jaoks. See võimaldab arendajatel kasutada tuttavaid programmeerimistööriistu, ühendades rakendused samal ajal Databricksi teenustega.

Autentimine on oluline kasutuskorralduslik detail. Databricks soovitab tootmiskasutuseks OAuthi ja teenusepõhiseid identiteete. Isiklikud juurdepääsuload on mõnes olukorras endiselt saadaval, kuid ettevõte soovitab kasutajale kuuluvaid lube järk-järgult vältida, kui OAuthi kasutamine on praktiline.

Arendajate juurdepääs ei ole kõigil Databricksi kontodel ühesugune. API-de saadavus võib sõltuda pilvest, piirkonnast, tööruumi konfiguratsioonist, mudelist, juurutusviisist, nõuetele vastavuse seadetest ja kasutaja õigustest. Free Editionil on olulised haldus- ja API-piirangud, mistõttu ei asenda see tootmiskeskkonna arenduskeskkonda.

Peamised tugevused ja piirangud

Miks organisatsioonid Databricksi valivad?

• See ühendab andmetöötluse, analüütika, masinõppe, halduse ja tehisintellekti arenduse ühte ökosüsteemi.
• See toetab juurutusi AWS-is, Azure'is ja Google Cloudis.
• See töötab Databricksi hostitud, avatud, väliste ja kohandatud mudelitega.
• Unity Catalog pakub võimalust hallata oluliste andme- ja tehisintellektivarade õigusi ning haldust.
• See toetab nii interaktiivset tööd, näiteks märkmikke ja SQL-analüüsi, kui ka korratavaid tootmiskeskkonna töövooge.
• Free Edition annab õppijatele võimaluse tutvuda paljude põhikontseptsioonidega ilma täieliku ettevõttelahenduse eest maksmata.

Olulised puudused

• Platvorm on keerukam kui tarbijatele mõeldud tehisintellektirakendus ning võib nõuda SQL-i, Pythoni, pilvandmetöötluse või andmetöötluse tundmist.
• Tasuline kasutus põhineb tavaliselt tarbimisel, mistõttu kulud varieeruvad ja neid võib ilma jälgimiseta olla keeruline ennustada.
• Pilvearvutus ja ettevõtteteenused võivad suurte või pidevalt töötavate töökoormuste puhul kalliks muutuda.
• Free Editionil on ranged kvoodid, ainult serverita ressursid, ärilise kasutuse keeld, piiratud haldus ja teenusetaseme lepingu puudumine.
• Funktsioonide saadavus erineb sõltuvalt pilvest, piirkonnast, kontost, õigustest, mudelist ja juurutuse tüübist.
• Databricks ei ole eelkõige mõeldud vabaks vestluseks, meelelahutuseks, lihtsaks isiklikuks töökorralduseks ega piltide ja videote loomiseks.

Kellele Databricks kõige paremini sobib?

Databricks sobib hästi ettevõtetele, kellel on mahukad andmetöötlusvajadused, andmetöötlusmeeskonnad, analüütikud, masinõppe spetsialistid, tehisintellektiarendajad ja organisatsioonid, kes vajavad keskset haldust. See on kasulik ka õpilastele ja tehnilistele õppijatele, kes soovivad harjutada märkmike, SQL-i, andmekanalite, juhtpaneelide ja tehisintellektirakenduste arendamist.

See võib olla hea valik, kui mitu meeskonda peab töötama samade andmetega ning organisatsioon soovib üht keskkonda analüüsi, mudelite arendamise, juurutamise ja juurdepääsukontrolli jaoks. See on eriti asjakohane projektide puhul, mis peavad katsetamisest liikuma hallatavasse tootmissüsteemi.

Teistsugune toode võib olla mõistlikum inimesele, kes soovib lihtsalt tehisintellektile küsimusi esitada, teksti ümber sõnastada, dokumente kokku võtta, pilte luua või igapäevaseid ülesandeid hallata. Kergekaalulist vestlusrobotit või tarbijatele mõeldud produktiivsusrakendust on tavaliselt lihtsam kasutama hakata ning selle isiklik hinnastus võib olla selgem. Databricks toetab küll tehisintellektirakendusi, kuid seda ümbritseva andme- ja pilvetaristu haldamine on suur osa selle eesmärgist.

Praktiline hinnang

Kaaluge Databricksi, kui vajate ühist alust andmetöötluseks, analüütikaks, masinõppeks, hallatud generatiivseks tehisintellektiks või ettevõtte tehisintellektiagentideks. Selle peamised tugevused on andme- ja tehisintellektitööriistade lai valik, suuremate pilveplatvormide tugi, mudelite teenusena pakkumise võimalused ning haldusfunktsioonid, nagu Unity Catalog. Free Edition on õppimiseks kasulik, kuid enne kasutamist tuleks mõista selle mitteärilise kasutuse tingimusi ja tehnilisi piiranguid.

Suurimad puudused on platvormi keerukus, pilvearvutuse muutuvad kulud ning piiratud tasuta väljaande ja tootmisjuurutuse vahe. Kui teie eesmärk on vaba vestlus, isiklik kirjutamisabi või lihtne meedialoomine, sobib tõenäoliselt paremini tarbijatele mõeldud tehisintellektiteenus. Kui teie organisatsioon peab ühendama suured andmevarad analüütika ja hallatud tehisintellektiga, on Databricks palju lähemal vajaliku platvormi tüübile.