Uvod v Talend Open Studio

Talend ponuja Open Studio, ki je open-source za integracijo podatkov. Vsebuje več kot 800+ komponent za različne integracijske namene. Prenesite Talend Open Studio s https://www.talend.com/download/

Integracija podatkov pomeni združevanje podatkov iz različnih virov in njihovo združevanje v en sam pogled, da bi dobili nekaj pomembnih podatkov iz tistih, ki lahko podjetju ali organizaciji pomagajo izboljšati svoje poslovanje z analizo teh podatkov. Integracija pomaga pri pridobivanju podatkov, čiščenju podatkov, pri čemer je potrebna nekaj preoblikovanja itd., Nato pa jih naložite v podatkovno skladišče.

Kaj je Talend?

Talend je orodje ETL, ki se uporablja za integracijo podatkov. Talend ponuja rešitev za pripravo podatkov, kakovost podatkov, integracijo podatkov in velike podatke. Tu bomo razpravljali o nekaterih sestavnih delih. Za lažji ogled spodnjega primera Sim operater ima ogromno podatkov o načrtih, strankah, sim podrobnostih itd. Ti podatki so ogromni, zato se pri integraciji uporabljajo tudi veliki podatki.

Stranka Kupujem sim s pomočjo vladnega ID-ja

Daje mu ime AB C

naslov kot Chennai, Chennai

telefonska številka kot 1234567890

Po integraciji podatkov

Ime: AB

Priimek: C

Naslov: Chennai, Indija

Telefonska številka: +911234567890

Tu se podatki očistijo in pretvorijo v nekaj bolj smiselnega.

Prednosti

  • Analiza poslovnih trendov s pomočjo integracije podatkov
  • Združevanje podatkov v en sam sistem
  • Prihranite na čas, učinkoviteje in manj predelajte
  • Enostavna izdelava poročil - uporablja jih BI orodje
  • Vzdrževanje in vstavljanje podatkov v podatkovno skladišče in podatkovne baze

Uporaba

Spodaj so navedene naslednje aplikacije

1. Delo s Talendom

  • Prepričajte se, da imate nameščeno javo in spremenljivke okolja.
  • Prenesite odprtokodno datoteko s spletnega mesta Talend in namestite programsko opremo.
  • Ustvari nov projekt in zaključi namestitev
  • Talend se odpre z zavihkom oblikovalca.
  • Talend je orodje na osnovi mrka, komponente pa lahko povlečete iz palete ali pa kliknete in vnesete ime komponent.

2. Prvo opravilo Branje datoteke

  • Poiščite komponento tFileinputdelimited. Ta komponenta se uporablja za branje poljubnih datotek.
  • Postavite komponento tfileinputdelited. Poiščite tlogrow in ga postavite pri oblikovalcu delovnih mest.
  • Z desno miškino tipko kliknite tfileinputdelimited in izberite vrstico> glavna in narišite črto, da se premaknete.
  • V komponenti zavihek izbere pot datoteke, ki jo želite prebrati, in ločilo vrstic poda kot \ n. Če ima datoteka ločitev, jo lahko omenite.
  • Kliknite shemo in navedite podrobnosti vrste stolpca ali pa lahko celotno vrstico preberete kot niz z enim stolpcem, vrednost ločila pa mora biti prazna.
  • Lahko tudi preskočite glavo in nogo.
  • V komponenti tlogrow izberite način, kako želite videti podatke. Oblika tabele ali enojna vrstica.
  • tlogrow prikaže izhod v konzoli za zagon.
  • Po povezavi obeh tfileinputdelimited in tlogrow opravilo zaženite z zavihka za zagon.
  • Vsebino datoteke vidite na konzoli natisnjeno.

3. Druga naloga z uporabo Tmapa

  • Preberite datoteko in jo filtrirajte v različne izhodne datoteke.
  • Preberite datoteko v komponenti tfileinputdelitedited z eno shemo stolpcev kot zapis.
  • Tmap komponenta - Ta komponenta pomaga pri preoblikovanju podatkov z nekaterimi vgrajenimi funkcijami, kot so iskanje, združevanje itd.
  • V tmap ustvarite dva izhoda out1 in out2.
  • V filter out1 dodajte row3.record.contains ("talend") in povlecite zapis v out1.
  • Narišite zapisno linijo na druge strani2.

  • Iz tmapa vzemite glavne vrstice in se povežite z dvema tfileoutputdelima.
  • Out1 povezava do enega tfileoutputdelimited1 kot file1.txt in out2 do drugega tfileoutputdelimited2 kot file2.txt.
  • txt bo imel zapise, ki vsebujejo talent.
  • txt bo imel zapise z drugimi imeni.

4. Vgrajena in odlagališče

  • Vgrajena pomeni, da morate vsakič nastaviti shemo ali podrobnosti za povezavo z bazo podatkov.
  • Repozitorij je priročen za shranjevanje podrobnosti v metapodatke, tako da lahko vsakič znova uporabite iste podrobnosti, ne da bi vsakič ročno vnesli podrobnosti. V metapodatke lahko shranite datotečno shemo, povezave z bazo podatkov, povezavo Hadoop, panj povezavo, s3 povezavo in še veliko več.

Sestavni deli Talend Open Studio

Spodaj so navedene naslednje komponente Talend Open Studio

1. tFileList

  • Ta komponenta navaja datoteke v imeniku ali mapi z določenim vzorcem maske datotek.

2. tMysqlConnection

  • Ta komponenta se uporablja za povezovanje z bazo podatkov mysql.
  • Komponente Mysql lahko to povezavo uporabijo za enostavno nastavitev povezave z bazo podatkov.

3. tMysqlinput

  • Ta komponenta pomaga zagnati poizvedbo baze podatkov mysql in pridobiti tabelo ali stolpce. Ta komponenta se uporablja za izbiro poizvedb in pridobivanje podrobnosti.

4. tMysqlOutput

  • Ta komponenta se uporablja za vstavljanje ali posodabljanje podatkov v bazo Mysql.

5. tprejob

  • Ta komponenta je prva, ki se izvaja v opravilu in jo je mogoče povezati z drugimi komponentami z vklopom.

6. tpostjob

  • Ta komponenta je zadnja, ki se izvrši v opravilu. To lahko povežete s komponentami za zapiranje povezav.

7. tlogcatcher

  • Ta komponenta lovi opozorilo in napake v opravilu.
  • Najpomembnejša komponenta, ki se uporablja pri tehniki ravnanja z napakami.
  • Dnevnike napak lahko napišete s to komponento skupaj s tfileoutputdelimited.
  • Obstaja več kot 800+ komponent.

Kontekstna spremenljivka

  • Kontekstne spremenljivke so spremenljivke, ki jih lahko v poslu uporabljate kjer koli.
  • Vsebuje vrednosti in se lahko prenese na drugo opravilo tudi s pomočjo komponente trun.
  • Uporaba spremenljivk konteksta je, da lahko spremenimo vrednost za različne namene.
  • Na primer, lahko imamo niz vrednosti za razvojno kontekstno skupino in drugačen nabor kontekstnih vrednosti za produkcijo.
  • Tako nam ni treba spremeniti opravila, samo spreminjanje kontekstnih parametrov je dovolj.

Graditi službo

  • Če želite sestaviti opravilo, kliknite desno opravilo in izberite gradnjo.
  • Nalogo izdelave lahko uvozite v TAC.
  • V upraviteljski konzoli Talend načrtujete opravilo, da sprožite tudi odvisnost od nabora opravil.
  • Nalogo lahko uvozite tudi iz skladišča Nexus z opravilom artefakta.

Ustvari nalogo v TAC-u

  • Odprti vodja delovnih mest v TAC
  • Kliknite nova opravila in izberite običajna opravila ali artefakte.
  • Uvozite izdelano opravilo ali izberite iz nexusa.
  • Izberite strežnik opravil, v katerem se bo izvajal talent.
  • Nalogo shranite.
  • Zdaj lahko nalogo razmestite in zaženete.

Zaključek - Talend Open Studio

"Poenostavite ETL in ELT z vodilnim brezplačnim odprtokodnim orodjem ETL za velike podatke." Je oznaka odprtega studia. Talend Bigdata ima veliko komponent za obdelavo ogromnih podatkov. Običajno opravilo, Bigdata opravilo, Bigdata pretočna opravila so različne vrste opravil, ki so na voljo v Talendu. Delovna mesta Bigdata se lahko ustvarijo v iskri ali zemljevidu.

Priporočeni članki

To je vodnik za Talend Open Studio. Tukaj razpravljamo o prednostih, aplikacijah in komponentah Talend Open Studio. Za več informacij si lahko ogledate tudi naslednje članke -

  1. Vodnik za integracijo podatkov Talend
  2. Pomembna vprašanja o intervjuju s Talendom
  3. Talend proti Mulesoft: razlike
  4. Talend proti Pentaho: 8 koristnih primerjav za učenje

Kategorija:

Veliki podatki