Uvod v vprašanja in odgovore intervjuja Apache PIG
Torej ste končno našli svojo sanjsko službo v Apache PIG, sprašujemo pa se, kako polomiti intervju z Apache PIG 2019 in kakšna bi bila verjetno vprašanja o intervjuju Apache PIG. Vsak intervju z Apache PIG je drugačen in tudi obseg dela je drugačen. Upoštevajoč to, da smo zasnovali najpogostejša vprašanja in odgovore o intervjuju z Apache PIG, ki vam bodo pomagali do uspeha v intervjuju z Apache PIG.
Sledi seznam vprašanj o intervjuju Apache PIG za leto 2019, ki so večinoma zastavljena
1. Katere so ključne razlike med MapReduce in Apache Pig?
Odgovor:
Sledijo ključne razlike med Apache Pig in MapReduce, zaradi katerih je Apache Pig prišel v sliko:
• MapReduce je model za obdelavo podatkov na nizki ravni, medtem ko je Apache Pig platforma za pretok podatkov na visoki ravni
• Brez pisanja zapletenih izvedb Java v MapReduce programerji lahko dosežejo enake izvedbe z uporabo Pig Latin.
• Apache Pig ponuja gnezdene vrste podatkov, kot so vrečke, naborki in zemljevidi, saj manjkajo v MapReduce.
• Prašič podpira podatkovne operacije, kot so filtri, združevanje, naročanje, razvrščanje itd. Z veliko vgrajenimi operaterji. Ker je izvajanje iste funkcije v MapReduce neizmerna naloga.
2. Pojasnite uporabo MapReduce v Svinjariji.
Odgovor:
Programi Apache Pig so napisani v poizvedbenem jeziku, znanem kot Pig Latin, ki je podoben poizvedbenemu jeziku SQL. Za izvedbo poizvedbe potrebuje mehanizem za izvajanje. In Pig motor pretvori poizvedbe v opravila MapReduce in tako MapReduce deluje kot izvršilni motor in je potreben za zagon programov.
3. Pojasnite uporabo prašiča.
Odgovor:
Prašiča lahko uporabljamo v treh kategorijah, to so:
• Podatkovni vod ETL: pomaga pri naselitvi našega podatkovnega skladišča. Prašič lahko podatke pošlje v zunanjo aplikacijo, počakal bo, dokler ne bo končan, da bo prejel obdelane podatke in nadaljeval od tam. To je najpogostejši primer uporabe prašiča.
• Raziskave surovih podatkov.
• Iterativna obdelava.
4. Primerjajte Apache Pig in SQL.
Odgovor:
• Apache Pig se od SQL-a razlikuje po njegovi uporabi za ETL, lenobnem ocenjevanju, shranjevanju podatkov v določenem trenutku v cevovodu, podpori cepitev cevovodov in izrecni izjavi izvedbenih načrtov. SQL (strukturni jezik poizvedb) je usmerjen okoli poizvedb, ki dajejo en sam rezultat. SQL nima vgrajenega mehanizma za delitev toka za obdelavo podatkov in uporabo različnih operaterjev v vsakem podtoku.
• Apache Pig omogoča, da se uporabniška koda vključi na kateri koli točki cevovoda, medtem ko je treba SQL, kjer naj se uporabljajo podatki, najprej uvoziti v bazo podatkov in nato se začne postopek čiščenja in preobrazbe.
5. Pojasnite o različnih zapletenih vrstah podatkov v prašiču.
Odgovor:
Apache Pig podpira tri zapletene vrste podatkov -
• Zemljevidi - To so ključne, prodajalne vrednosti, združene z uporabo #.
Primer: ('city' # 'pune', 'pin' # 411045) • Tuples - Podobno kot vrstica v tabeli, kjer so različni elementi ločeni z vejico. Tupleji imajo lahko več atributov.
• Torbe - neurejena zbirka tupolov. Torba omogoča več podvojenih tupolov.
Primer: (('Mumbai', 022), ('New Delhi', 011), ('Kolkata', 44))
6. Pojasnite različne modele izvedbe, ki so na voljo v Svinjariji.
Odgovor:
V Pig so na voljo trije različni načini izvedbe,
• Interaktivni način ali način Grunt.
Interaktivni način ali način grunt: Pigijeva interaktivna lupina je znana kot grunt lupina. Če v Pig ni podana nobena datoteka, se bo zagnala.
• Paketni način ali Skriptni način.
Pig izvrši določene ukaze v datoteki skripta.
• Vgrajeni način
Programe Pig lahko vgradimo v Javo in programe lahko poganjamo iz Jave.
7. Pojasnite izvedbene načrte (logični in fizični načrt) prašičjega skripta
Odgovor:
Logični in fizični načrti se ustvarijo med izvajanjem prašičjega skripta. Svinjski skripti temeljijo na preverjanju tolmača. Logični načrt nastane s pomenskim preverjanjem in osnovnim razčlenjevanjem, pri izdelavi logičnega načrta pa ne pride do obdelave podatkov. Za vsako vrstico v skriptu Pig se izvaja preverjanje skladnje za operaterje in ustvari se logični načrt. Kadar koli se v skriptu pojavijo napake, se vrže izjema in izvedba programa se konča, sicer pa ima vsak stavek v skriptu svoj logični načrt.
Logični načrt vsebuje zbirko operaterjev v skriptu, ne vsebuje pa robov med operaterji.
Ko se ustvari logični načrt, se izvedba skripta premakne na fizični načrt, kjer je opis fizičnih operaterjev, ki jih bo Apache Pig uporabil za izvedbo skripta Pig. Fizični načrt je bolj ali manj podoben nizu opravil MapReduce, toda načrt nima nobenega napotila, kako bo izveden v MapReduce. Med ustvarjanjem fizičnega načrta se logični operater cogroup pretvori v tri fizične operaterje, in sicer - Lokalno preureditev, Globalno preureditev in paket. Funkcije nalaganja in shranjevanja se običajno rešijo v fizičnem načrtu.
8. Katera orodja za odpravljanje napak se uporabljajo za skripte Apache Pig?
Odgovor:
Opišite in razložite pomembne pripomočke za odpravljanje napak v Apache Pig.
• Program Explain je koristen za razvijalce Hadoop, ko poskušajo odpraviti napake ali optimizirati skripte PigLatin. pojasnilo lahko uporabimo za določen vzdevek v skripti ali pa ga uporabimo za celoten skript v grunt interaktivni lupini. pripomoček za razlago ustvari več grafov v besedilni obliki, ki jih je mogoče natisniti v datoteko.
• Opišite pripomoček za odpravljanje napak, je razvijalcem v pomoč pri pisanju skript Pig, saj prikazuje shemo razmerja v skriptu. Začetniki, ki se želijo naučiti Apache Pig, lahko s pomočjo pripomočka za opis razumejo, kako vsak operater spreminja podatke. Skripta prašičev ima lahko več opisov.
9. Na katere pomislite na nekatere primere uporabe Apache Pig?
Odgovor:
• Orodje z velikimi podatki Apache Pig se uporablja predvsem za iterativno obdelavo, raziskave surovih podatkov in za tradicionalne cevovode podatkov ETL. Ker Pig lahko deluje v okoliščinah, ko shema ni znana, neskladna ali nepopolna - jo pogosto uporabljajo raziskovalci, ki želijo uporabiti podatke, preden jih očistijo in naložijo v podatkovno skladišče.
• Na primer za izdelavo modelov napovedovanja vedenja ga lahko uporabi spletno mesto za sledenje odziva obiskovalcev na različne vrste oglasov, slik, člankov itd.
10. Označite razliko med operaterji skupine in Cogroup v Svinjariji.
Odgovor:
Oba operaterja lahko delujeta v enem ali več odnosih. Operaterji skupin in Cogroup so identični. Operater skupine zbere vse zapise z istim ključem. Cogroup je kombinacija skupine in združevanja, je posploševanje skupine, namesto da bi zbirali zapise enega vhoda, je odvisno od ključa, na podlagi ključa zbira zapise n vhodov. Naenkrat lahko združimo do 127 odnosov.
Priporočeni članki
To je vodnik za seznam vprašanj in odgovorov s seznama Apache PIG, tako da lahko kandidat brez težav razreši ta vprašanja o intervjuju Apache PIG. Ta članek vsebuje vsa uporabna vprašanja in odgovore Apache PIG Interview, ki vam bodo v pomoč pri intervjuju. Če želite izvedeti več, si oglejte tudi naslednje članke -
- Apache Pig proti Apache Pive
- Top 10 težkih vprašanj o intervjuju
- 8 učinkovitih korakov za pripravo na interni intervju
- Pomembni nasveti za preživetje intervjuja na plošči (koristno)