Uvod v Hadoop Admin Intervju Vprašanja in odgovori
Torej ste končno našli svojo sanjsko službo v Hadoop Adminu, vendar se sprašujete, kako razbiti Hadoop Admin Intervju in kaj bi lahko bilo verjetno Hadoop Admin Intervju Vprašanja. Vsak intervju je drugačen in tudi obseg dela je drugačen. Upoštevajoč to, da smo zasnovali najpogostejša vprašanja in odgovore Hadoop Admin Interview, ki vam bodo pomagali doseči uspeh v intervjuju.
Sledijo vprašanja o intervjuju za Hadoop Admin, ki vam bodo pomagala pri razbijanju intervjuja s Hadoopom.
1. Kaj je ozaveščenost? In zakaj je to potrebno?
Odgovor:
Ozaveščenost o regalih gre za distribucijo podatkovnih vozlišč po več regalih.HDFS sledi algoritmu za zaznavanje stojala za namestitev podatkovnih blokov. Stojalo vsebuje več strežnikov. In za gručo bi lahko bilo več regalov. Recimo, da je skupina Hadoop postavljena z 12 vozlišči. Na vsaki strani bi lahko bili 3 stojala s po 4 strežniki. Vsi trije regali so povezani tako, da je vseh 12 vozlišč povezanih in tvorijo grozd. Pri odločanju o številu stojala je pomemben dejavnik podvajanja. Če bo vsak dan prehajalo 100 GB podatkov s faktorjem podvajanja 3. Potem bo v grozdu moralo prebivati 300 GB podatkov. Boljša možnost je, da se podatki presnemajo čez stojala. Tudi če se katero koli vozlišče spusti, bo replika v drugem nosilcu.
2. Kakšna je privzeta velikost bloka in kako je določena?
Odgovor:
128 MB in je opredeljen v hdfs-site.xml in je tudi ta prilagodljiv glede na količino podatkov in stopnjo dostopa. Recimo, 100 GB podatkov, ki teče na dan, se podatki ločijo in shranijo v skupino. Kolikšno bo število datotek? 800 datotek. (1024 * 100/128) (1024 à pretvori GB v MB.) Velikost bloka podatkov lahko prilagodite na dva načina.
- hadoop fs -D fs.local.block.size = 134217728 (v bitih)
- V hdfs-site.xml dodajte to lastnost à block.size z velikostjo bitov.
Če spremenite privzeto velikost v 512 MB, ker je velikost podatkov velika, bo ustvarjenih no.of datotek 200. (1024 * 100/512)
3. Kako dobite poročilo datotečnega sistema hdfs? O razpoložljivosti diska in številnih aktivnih vozliščih?
Odgovor:
Ukaz: sudo -u hdfs dfsadmin –report
To je seznam informacij, ki jih prikazuje,
- Konfigurirana zmogljivost - Skupna zmogljivost na voljo v hdfs
- Sedanja zmogljivost - To je skupna količina prostora, namenjenega virom, ki se nahajajo poleg metastore in fsimage uporabe prostora.
- Preostanek DFS - količina HDFS je še vedno na voljo za shranjevanje več datotek
- Uporabljeni DFS - HDFS je prostor za shranjevanje, ki ga je porabil.
- Uporabljeni DFS% - v odstotkih
- Pod podvojeni bloki - Število blokov
- Bloki s poškodovanimi replikami - če obstajajo poškodovani bloki
- Manjkajoči bloki
- Manjkajoči bloki (s faktorjem podvajanja 1)
4. Kaj je Hadoop uravnoteževalec in zakaj je to potrebno?
Odgovor:
Podatki, razporejeni po vozliščih, niso razporejeni v pravem razmerju, kar pomeni, da uporaba vsakega vozlišča morda ni uravnotežena. Eno vozlišče je morda preveč izkoriščeno, drugo pa premalo. To privede do visokih stroškovnih učinkov med izvajanjem katerega koli postopka, na koncu pa bi se lahko pojavila velika uporaba teh vozlišč. Da bi to rešili, je uporabljen Hadoop uravnoteževalec, ki bo uravnotežil uporabo podatkov v vozliščih. Torej, kadar se izvaja ravnotežnik, se podatki premaknejo tja, kjer se polnila premalo izkoriščena vozlišča in sprostijo preveč izkoriščena vozlišča.
5. Razlika med Cloudero in Ambarijem?
Odgovor:
| Cloudera Manager | Ambari |
| Orodje za uporabo zdravila Cloudera | Orodje za administracijo za Horton deluje |
| Spremlja in upravlja celotni grozd ter poroča o uporabi in morebitnih težavah | Spremlja in upravlja celotni grozd ter poroča o uporabi in morebitnih težavah |
| Prihaja s plačano storitev Cloudera | Odprtokodno |
6. Katera so glavna dejanja, ki jih izvaja skrbnik Hadoop?
Odgovor:
Spremljanje zdravja grozda - Obstaja veliko strani aplikacij, ki jih je treba spremljati, če se katerikoli postopek izvaja. (Strežnik zgodovine zaposlitev, upravitelj virov YARN, upravitelj / amadarija Cloudera, odvisno od distribucije)
vklopite varnost - SSL ali Kerberos
Izvedba melodije - Hadoop uravnotežilec
Po potrebi dodajte nova podatkovna vozlišča - spremembe in konfiguracije infrastrukture
Izbirno za vklop strežnika za sledenje zgodovine opravkov MapReduce à Včasih bi ponovni zagon storitev pomagal sprostiti pomnilnik pomnilnika. To je takrat, ko je grozd s praznim postopkom.
7. Kaj je Kerberos?
Odgovor:
Za sinhronizacijo vsake storitve je potrebna avtentikacija, da se postopek zažene. Priporočljivo je omogočiti Kerberos. Ker imamo opravka s porazdeljenim računalništvom, je vedno dobra praksa, da imamo šifriranje med dostopom do podatkov in njihovo obdelavo. Ker so vsa vozlišča povezana in je vsak prehod informacij po omrežju. Ko Hadoop uporablja Kerberos, gesla niso poslana po omrežjih. Namesto tega se za računanje šifrirnih ključev uporabljajo gesla. Sporočila se izmenjujejo med odjemalcem in strežnikom. Preprosto povedano, Kerberos zagotavlja varno identiteto drug drugemu (vozlišča) s šifriranjem.
Konfiguracija v core-site.xml
Hadoop.security.authentication: Kerberos
8. Kakšen je pomemben seznam ukazov hdfs?
Odgovor:
| Ukazi | Namen |
| hdfs dfs –ls | Če želite seznam datotek iz datotečnega sistema hdfs. |
| Hdfs dfs - vhod | Kopirajte datoteko iz lokalnega sistema v datotečni sistem hdfs |
| Hdfs dfs –chmod 777 | Dajte datoteko za branje, pisanje, izvedbo |
| Hdfs dfs -get | Kopirajte datoteko iz datotečnega sistema hdfs v lokalni datotečni sistem |
| Hdfs dfs –cat | Ogled vsebine datoteke iz datotečnega sistema hdfs |
| Hdfs dfs –rm | Odstranite datoteko iz datotečnega sistema hdfs. Toda premaknjena bo v pot v datoteko za smeti (je kot koš za smeti v Windows) |
| Hdfs dfs –rm –skipTrash | Trajno odstrani datoteko iz gruče. |
| Hdfs dfs –Touchz | Ustvari datoteko v datotečnem sistemu hdfs |
9. Kako preveriti dnevnike posla Hadoop, poslane v grozdu, in kako zaključiti že izvajani postopek?
Odgovor:
dnevniki preje –applicationId - Glavni program aplikacije ustvari dnevnike na svojem vsebniku in mu bo dodan id, ki ga ustvari. To bo koristno za spremljanje stanja postopka in informacij v dnevniku.
aplikacija preje –kill - Če je treba obstoječi postopek, ki se je izvajal v grozdu, zaključiti, se uporabi ukaz kill, kjer se ID-ja aplikacije uporabi za prenehanje opravila v grozdu.
Priporočeni članek
To je vodnik za seznam vprašanj in odgovorov za intervjuje Hadoop Admin, da lahko kandidat zlahka razbije ta vprašanja o intervjuju za Hadoop Admin. Če želite izvedeti več, si oglejte tudi naslednje članke
- Vprašanja in odgovori za Hadoop Cluster - top 10 najbolj uporabnih
- Vprašanja o intervjuju za modeliranje podatkov - 10 pomembnih vprašanj
- Vprašanja o intervjuju za sistem SAS - Top 10 uporabnih vprašanj