Uvod v Vprašanja in odgovori za InterResu MapReduce
MapReduce je preprost vzporedni model programiranja podatkov, zasnovan za razširljivost in napak. Lahko rečemo, da je MapReduce okvir, ki uporablja koncept vozlišč za vzporeditev težav, ki se pojavljajo v velikih zbirkah podatkov, če gre za lokalno omrežje, uporablja isto strojno opremo in če je MapReduce geografsko razdeljen, uporablja drugačno strojno opremo. MapReduce je v bistvu sestavljen iz funkcije Map () in Reduce (). Priljubljen ga je odprl projekt Hadoop.
Spodaj je 9 pomembnih vprašanj in odgovorov za MapReduce za leto 2019:
Če iščete službo, povezano z MapReduce, se morate pripraviti na vprašanja o intervjuju za MapReduce za leto 2019. Čeprav je vsak intervju z MapReduce različen in je tudi obseg dela različen, vam lahko pomagamo z vrhunskimi MapReduce Intervju vprašanji z odgovori, ki vam bodo pomagali narediti korak in doseči svoj uspeh v intervjuju.
Ta vprašanja so razdeljena na dva dela:
1. del - Vprašanja za intervju z MapReduce (osnovna)
Ta prvi del zajema osnovna vprašanja in odgovore o MapReduce Intervju.
1. Kaj je MapReduce?
Odgovor:
MapReduce je preprost vzporedni model programiranja podatkov, zasnovan za razširljivost in napak. Z drugimi besedami, to je okvir, ki obdeluje vzporedne težave v velikih zbirkah podatkov z uporabo koncepta vozlišč (število računalnikov), ki so razvrščena kot grozdi, če gre za lokalno omrežje in uporablja isto strojno opremo ali omrežja, če so geografsko razporejeni in uporabljajo različno strojno opremo. MapReduce v bistvu obsega funkcijo Map () in funkcijo Reduce (). Podprl ga je Google in vsak dan obdeluje veliko petabajtov podatkov. Priljubljen ga je odprtokodni projekt Hadoop, uporablja pa ga Yahoo, Facebook in Amazon.
2. Za kaj se podjetje MapReduce uporablja za podjetje?
Odgovor:
Google
• Izdelava indeksa za Google Iskanje
Postopek izdelave pozicijskega ali nepozicioniranega indeksa imenujemo konstrukcija ali indeksiranje indeksov. Vloga MapReduce je Index Construction in je zasnovana za velike računalniške grozde. Namen grozda je reševanje računskih težav za vozlišča ali računalnike, ki so vgrajeni s standardnimi deli, ne pa s superračunalnikom.
• Skupina člankov za Google News
Za združevanje člankov se strani najprej razvrstijo glede na to, ali so potrebne za združevanje v skupine. Strani vsebujejo veliko informacij, ki niso potrebne za združevanje. Nato se članek pripelje do njegovega vektorskega obrazca glede na ključne besede in tehtanje. Nato so združeni s pomočjo algoritmov.
• Statistični strojni prevod
Prevajanje dvojezičnih besedilnih korpusov z analizo ustvarja statistične modele, ki prevajajo en jezik v drugega z uporabo uteži in je reduciran na najverjetnejši prevod.
Yahoo
• "Spletni zemljevid" napaja Yahoo! Iskanje
Podobno kot združevanje člankov za Google News se tudi MapReduce uporablja za združevanje iskalnih izhodov na Yahoo! Platforma.
• Zaznavanje neželene pošte za Yahoo! Pošta
Facebook
• Data Mining
Nedavni trend eksplozije podatkov je povzročil potrebo po izpopolnjenih metodah za razdelitev podatkov na kose, ki jih je mogoče enostavno uporabiti za naslednji korak analize.
• d Optimizacija
• Zaznavanje neželene pošte
Pojdimo na naslednja vprašanja o intervjuju z MapReduce.
3. Kakšni so cilji MapReduce
Odgovor:
• Prilagodljivost za velike količine podatkov
Ker je MapReduce okvir, ki je namenjen delu z vzporedljivimi podatki z uporabo koncepta vozlišč, ki so število računalnikov bodisi v grozdih bodisi v omrežjih, ga je mogoče povečati na n število računalniških strojev. Tako pomemben oblikovalski cilj MapReduce je ta, da je prilagodljiv na 1000-ih strojev in tako na 10.000-ih diskov.
• stroškovna učinkovitost
Ker MapReduce deluje s paralelizacijo podatkov na vozliščih ali številu računalnikov, so naslednji razlogi, ki omogočajo stroškovno učinkovitost:
- Preberite robne stroje namesto superračunalnika. Čeprav so poceni, so nezanesljivi.
-Modnostna mreža
- Potrebno je avtomatsko odstopanje napak, tj. Manj skrbnikov.
-Je enostavno za uporabo, tj. Potrebuje manj programerjev.
4. Kakšni so izzivi MapReduce?
Odgovor:
To so pogosta vprašanja MapReduce Interview v intervjuju. Glavni izzivi MapReduce so naslednji:
-Cheap vozlišča ne uspejo, še posebej, če jih imate veliko
Povprečni čas med odpovedmi za eno vozlišče je 3 leta. Povprečni čas med okvarami za 1000 vozlišč je enak 1 dnevu. Rešitev je vgraditi odpornost na napake v sam sistem.
- Omrežje omrežja je enako ali pomeni nizko pasovno širino
Rešitev za nizko pasovno širino je potiskanje računa na podatke.
-Programiranje distribuiranih sistemov je težko
Rešitev za to je, da v skladu s podatkovnim vzporednim programskim modelom uporabniki napišejo funkcije »preslikava« in »zmanjša«. Sistem porazdeli delo in obravnava napake.
5. Kakšen je programski model MapReduce?
Odgovor:
Programski model MapReduce temelji na konceptu, imenovanem zapisi ključ-vrednost. Ponuja tudi paradigme za vzporedno obdelavo podatkov. Za obdelavo podatkov v MapReduce je treba vhodne podatke in izhod preslikati v obliko več parov ključ-vrednost. Enotni par ključ-vrednost se imenuje tudi kot zapis. Programski model MapReduce je sestavljen iz funkcije Map () in funkcije Reduce. Model teh je naslednji.
Funkcija Map (): (K in, V in) list (K inter, V inter)
Funkcija zmanjšanja (): (K inter, seznam (V inter)) seznam (K ven, V izhod)
2. del - Vprašanja za intervju z MapReduce (napredno)
Oglejmo si zdaj napredna vprašanja o intervjuju z MapReduce.
6. Kaj so podrobnosti o izvedbi MapReduce?
Odgovor:
V primeru izvedbe MapReduce en sam nadzornik nadzira izvajanje opravil na več slaveh. Karte je priporočljivo namestiti na isto vozlišče ali isti regal kot njihov vhodni blok, tako da se zmanjša poraba omrežja. Preslikavci tudi shranijo izhode na lokalni disk, preden jih strežejo reduktorjem. To omogoča obnovo, če reduktor zruši in omogoči več reduktorjev kot vozlišč.
7. Kaj je kombajn?
Odgovor:
Kombinator, ki je znan tudi kot pol reduktor, deluje tako, da sprejema vnose iz razreda Map in posreduje izhodne pare ključ-vrednost razredu reduktorjev. Glavna funkcija kombinatorja je povzeti izhodne zapise zemljevida z istim ključem. Z drugimi besedami, kombinator je lokalna funkcija združevanja večkratnih ključev, ki jih ustvari isti zemljevid. Deluje za asociativne funkcije, kot so SUM, COUNT in MAX. Zmanjša velikost vmesnih podatkov, saj je povzetek združevanja vrednosti za vse ponavljajoče se tipke.
Pojdimo na naslednja vprašanja o intervjuju z MapReduce.
8.Zakaj prašič? Zakaj ne MapReduce?
Odgovor:
• MapReduce omogoča programerju, da izvede funkcijo zemljevida, ki ji sledi funkcija zmanjšanja, vendar je delo na tem, kako prilagoditi obdelavo podatkov v ta vzorec, ki pogosto zahteva več stopenj MapReduce, lahko izziv.
• S Pig so podatkovne strukture veliko bogatejše, saj so večrazredne in ugnezdene, nabor transformacij, ki jih lahko uporabite za podatke, pa je veliko močnejši. Na primer, vključujejo pridruževanja, ki v MapReduce niso mogoča.
• Prav tako je Pig en program, ki pretvorbo spremeni v vrsto MapReduce delovnih mest.
9.MarReduce Kritika
Odgovor:
Ena vidnih kritik MapReduce je, da je razvojni cikel zelo dolg. Pisanje zemljevidov in reduktorjev, sestavljanje in pakiranje kode, pošiljanje opravila in pridobivanje rezultatov je zamudno. Tudi pri pretakanju, ki odstrani korak prevajanja in paketa, izkušnja še vedno traja.
Priporočeni članek
To je vodnik za seznam vprašanj in odgovorov s seznamom MapReduce, tako da lahko kandidat brez težav razreši ta vprašanja o intervjuju MapReduce. Če želite izvedeti več, si oglejte tudi naslednje članke -
- Pomembna vprašanja o intervjuju glede podatkov
- 10 najboljših vprašanj za intervju z vzorcem
- Vprašanja za intervju z elastičnim iskanjem
- Najbolj uporabna vprašanja o intervjuju Ruby
- Kako deluje MapReduce