Orodja za talend - Različna orodja ali komponente Talenda za integracijo podatkov

Uvod v orodja Talend

Talend open studio ima več kot 700 komponent na področjih, kot so veliki podatki, baze podatkov, oblak itd. Talend open studio lahko razdelimo na številne, kot sta Talend open studio za integracijo podatkov in Talend open studio za velike podatke itd. V tem članku smo si bomo podrobno ogledali različna orodja talenta.

Talend Open Studio komponente / orodja

Talend Open Studio za integracijo podatkov zajema naslednja področja / tehnologije z nekaterimi vgrajenimi komponentami, kar pomaga pri enostavno obdelavi.

Velike komponente podatkov
Poslovne komponente
Komponente poslovne inteligence
Oblačne komponente
Komponente kode po meri
Sestavni deli kakovosti podatkov
Baze podatkov - tradicionalne komponente
Baze podatkov - sestavni deli naprav / podatkovnih skladišč
Baze podatkov - druge komponente
DotNET komponente
Elementi ELT
Komponente ESB
Sestavni deli datotek
Internetne komponente
Dnevniki in napake
Sestavni deli drugih izdelkov
Orkestracijske komponente
Predelava komponent
Sistemske komponente
Talend komponente MDM
Tehnične komponente
XML komponente

Tu bomo razpravljali o nekaj komponentah Talend Open Studio za integracijo podatkov.

1. tS3 Povezava: Ta komponenta se uporablja za povezavo z amazon s3. Komponente lahko uporabljajo to povezavo za enostavno nastavitev povezave na amazon s3.

2. tS3Input: Uporablja se za branje datoteke iz datotečnega sistema S3. Ima nekaj funkcij, podobnih tfileinputdelimited, vendar uporablja storitev Amazon Simple Storage.

3. tS3Output: Uporablja se za zapisovanje podatkov v datotečni sistem S3. Ima nekaj funkcij, podobnih tfileoutputdelimited, vendar uporablja storitev Amazon Simple Storage.

4. ts3Put: Uporablja se za vstavljanje datoteke v datotečni sistem S3 iz lokalnega sistema.

5. ts3Get: Ta komponenta se uporablja za pridobivanje datoteke iz S3 v lokalni sistem.

6. tS3BucketCreate: Ta komponenta se uporablja za ustvarjanje vedra na S3.

7. tS3BucketDelete: Ta komponenta se uporablja za brisanje vedra na S3.

8. tS3BucketExist: Ta komponenta se uporablja za preverjanje, ali dano vedro obstaja na S3. Rezultat vrne v resnično ali napačno logično vrednost, ki jo lahko uporabimo kot globalni zemljevid.

9. tS3BucketList: Ta komponenta se uporablja za seznam vseh vedrov na S3.

10. tS3Copy: Ta komponenta se uporablja za kopiranje predmeta S3 iz enega vedra v drugo vedro. Podobno je s tFileCopy.

11. tS3Delete: Ta komponenta se uporablja za brisanje predmeta S3 iz vedra. Podobno je s tFileDelete.

12. tS3Close: Ta komponenta se uporablja za zapiranje povezave S3, ki je ustvarjena s pomočjo tS3Connection.

13. tCreateTemporaryFile: Ta komponenta ustvari začasno datoteko, kot je tFileOutputDelimited, vendar se ta začasna datoteka po končanem opravilu lahko samodejno izbriše ali pa jo lahko obdržite.

14. tFileArchive: Ta komponenta se uporablja za ustvarjanje stisnjene datoteke iz ene ali več datotek. Šifriranje se lahko uporabi tudi pri stiskanju.

15. tFileCompare: Ta komponenta se uporablja za primerjavo dveh datotek in vrne primerjalne podatke.

16. tFileUnarchive: Ta komponenta se uporablja za odstranjevanje zip datoteke.

17. tFileCopy: Ta komponenta se uporablja za kopiranje datoteke ali mape v ciljni imenik.

18. tFileDelete: Ta komponenta se uporablja za brisanje datoteke ali mape.

19. tFileExist: Ta komponenta se uporablja za preverjanje, ali datoteka obstaja ali ne. Rezultat vrne v resnično ali napačno logično vrednost, ki jo lahko uporabimo kot globalMap.

20. tFileInputExcel: Ta komponenta se uporablja za branje datoteke Excel na podlagi definirane sheme.

21. tMsgBox: Ta komponenta se uporablja za prikaz pogovornega okna z gumbom V redu.

22. tRowGenerator: Ta komponenta se uporablja za ustvarjanje poljubnega števila vrstic s stolpci s specifičnimi ali naključnimi vrednostmi. Večinoma se uporablja za namene testiranja in ustvarjanja vzorčnih preskusnih datotek.

23. tIterateToFlow: Uporablja se za pretvorbo seznama tokov v glavni tok, kar pomeni iterate-> row-> main.

24. tFlowToIterate: Uporablja se za pretvorbo glavnega toka v seznam tokov, kar pomeni main-> row-> iterate.

25. tLoop: Uporablja se za vezanje določene naloge.

26. t Ponovi: Uporablja se za kopiranje dohodne sheme v dva izhodna toka.

27. tRunJob: Uporablja se za izvajanje drugega nadarjenega opravila v trenutnem poslu po subjob ok.

28. tSleep: Uporablja se za izvedbo opravila ali določeno podvprašanje za določen čas v sekundah.

29. tWaitForFile: Pregledati bo določen imenik in sprožil naslednjo komponento glede na pogoj.

30.tMysqlBulkExec: Ta komponenta se uporablja za ponujanje povečanja učinkovitosti med izvajanjem operacij Vstavljanje v bazi podatkov Mysql.

31. tMysqlClose: Ta komponenta se uporablja za zapiranje povezave mysql, ki jo ustvari tMysqlConnection.

32. tMysqlRow: Ta komponenta se uporablja za neposredno izvajanje poizvedbe SQL v bazi podatkov MySQL.

33. tMysqlTableList: Ta komponenta se uporablja za seznam imen tabel.

34. tMysqlColumnList: Ta komponenta se uporablja za ponovitev vseh stolpcev tabele.

35. tMysqlCommit: Ta komponenta se uporablja za določanje sprememb, ki so bile izvedene v bazi podatkov Mysql.

36. tMysqlLastInsertId: Ta komponenta se uporablja za pridobitev zadnje vstavljene vrednosti ključa

37. tMysqlOutputBulk: Ta komponenta se uporablja za pisanje datoteke s stolpci na podlagi ločila

38. tMysqlOutputBulkExec: Ta komponenta se uporablja za pisanje datoteke s stolpci na podlagi ločitve in nato datoteko izvrši v bazi podatkov Mysql.

39. tContextLoad: Ta komponenta se uporablja za nalaganje vrednosti v kontekst iz vhodnega toka. Pred nalaganjem vrednosti v kontekstne spremenljivke je treba ustvariti spremenljivke konteksta. Če spremenljivke konteksta niso ustvarjene, se prikaže opozorilo.

40. tHiveClose: Ta komponenta se uporablja za zapiranje povezave, ustvarjene s pomočjo tHiveConnection.

41. tHiveConnection: Ta komponenta se uporablja za ustvarjanje povezave s panjom in jo lahko ponovno uporabijo druge komponente panja .

42. tHiveRow: Ta komponenta se uporablja za neposredno izvajanje poizvedb Hive.

Zaključek

Komponente HDFS si lahko ogledate v odprtem studiu Talend za Big data.
thdfsinput, thdfsoutput so nekatere komponente in so podobne komponentam datotek.
tHDFSInput - bere datoteko, ki se nahaja v določenem datotečnem sistemu Hadoop (HDFS). Ima nekaj funkcij, podobnih tfileinputdelimited, vendar uporablja sistemski datotečni sistem Hadoop.
tHDFSOutput - Piše datoteko v distribucijski datotečni sistem Hadoop (HDFS).
Ima nekaj funkcij, podobnih tfileoutputdelimited, vendar uporablja sistemski datotečni sistem Hadoop.
tHDFSPut - Uporablja se za dodajanje datoteke v datotečni sistem HDFS iz lokalnega sistema.
tHDFSGet - Ta komponenta se uporablja za pridobivanje datoteke iz HDFS v lokalni sistem.

Priporočeni članki

To je vodnik za orodja Talend. Tukaj razpravljamo o uvedbi in pripravi komponent odprtega studia ali orodij za integracijo podatkov, ki vključujejo, tS3Connection, tS3Input, tS3Output in ts3Put itd. Če želite izvedeti več, si oglejte tudi naslednje članke -