Uvod v HDFS ukaze
Veliki podatki so beseda za tako velike ali sestavljene nabore podatkov, da običajna programska oprema za obdelavo podatkov ni dovolj za pakt z njimi. Hadoop je programski okvir, ki temelji na Javi, z odprtim kodom, ki v razširjenem računalniškem okolju povezuje prostor za obdelavo in shranjevanje ogromno obsežnih podatkovnih nizov. Osnova programske opreme Apache je ključna za namestitev Hadoopa
Značilnosti HDFS:
- HDFS deluje na glavni / podrejeni arhitekturi
- Datoteke HDFS uporabljajo za shranjevanje podatkov, povezanih z uporabnikom
- vsebuje ogromen niz imenikov in datotek, ki so shranjeni v hierarhični obliki.
- Na notranji strani je datoteka raztrgana v manjše bloke in ti bloki so shranjeni v množici Datanod.
- Namenode in Datanode sta del programske opreme, namenjen delovanju na računalnikih izdelkov, ki se klasično izvajajo v operacijskem sistemu GNU / Linux.
Namenoda:
- Tu datotečni sistem vzdržuje ime vozlišča
- Namenode je odgovoren tudi za beleženje vseh sprememb datotečnega sistema, poleg tega vzdržuje sliko celotnega imenskega prostora datotečnega sistema in datoteke Blockmap v pomnilniku
- Kontrolna točka se izvaja občasno. zato je enostavno priti do stopnje, preden je mogoče doseči točko strmoglavljenja.
Datanoda:
- Datanode zagotavlja podatke v datotekah v svojem lokalnem datotečnem sistemu
- Za intimnost obstoja podatkovno vozlišče pošilja srčni utrip v namembodo
- Za vsako prejeto bitje srca bo ustvarjeno poročilo o bloku
- Podvajanje pomeni na podatke, shranjene v teh podatkovnih vozliščih
Podvajanje podatkov:
- Tu zaporedje blokov tvori datoteko s privzeto velikostjo bloka 128 MB
- Vsi bloki v datoteki razen končnih so podobne velikosti.
- Iz vsakega podatkovnega vozlišča v grozdu element Namen prejme srčni utrip
- BlockReport vsebuje vse bloke na Datanode.
- vsebuje ogromen niz imenikov in datotek, ki so shranjeni v hierarhični obliki.
- Na notranji strani je datoteka raztrgana v manjše bloke in ti bloki so shranjeni v množici Datanod.
- Namenode in Datanode sta del programske opreme, namenjen delovanju na računalnikih izdelkov, ki se klasično izvajajo v operacijskem sistemu GNU / Linux.
Sledilnik opravil : JobTracker razpravlja z NameNode, da bi zaključil položaj podatkov. Poiščite tudi najboljša vozlišča TaskTracker za izvajanje nalog, ki temeljijo na lokaciji podatkov
Sledilnik opravil: TaskTracker je vozlišče v grozdu, ki sprejema naloge - operacije Map, Reduce in Shuffle - s JobTrackerja.
Vozlišče kontrolne točke sekundarnega imena (ali): Izbere EditLog iz vozlišča imena v rednih intervalih in se nanaša na njegovo FS sliko. In med svojim ponovnim zagonom nazaj dokončano sliko FS kopirate v imeniško vozlišče. Splošni namen vozlišča sekundarnega imena je imeti kontrolno točko v HDFS.
Preja:
- YARN ima osrednjo komponento upravitelja virov, ki upravlja z viri in dodeljuje vire vsaki aplikaciji.
- Tukaj je upravitelj virov glavni mojster, ki razporeja vire, povezane z grozdom, upravitelj virov je sestavljen iz dveh komponent, upravitelja aplikacij in planerja. Ti dve komponenti skupaj upravljata opravila v sistemih grozdov. druga komponenta pokliče upravitelja vozlišč (NM), ki je odgovoren za upravljanje opravil uporabnikov in potek dela na določenem vozlišču.
- Natančno podvajanje podatkov v aktivni namenodi drži NameNode v stanju pripravljenosti. Deluje kot suženj, vzdržuje dovolj stanja, da lahko hitro preskoči, če je to nujno.
Osnovni ukazi HDFS:
|
Osnovni HDFS ukazi |
||
| Sr.No | Lastnost ukaza HDFS | Ukaz HDFS |
| 1 | Natisni različico hadoop | $ hadoop različica |
| 2 | Seznam vsebine korenskega imenika v HDFS | $ hadoop fs -ls |
| 3 | Poročajte o količini uporabljenega in razpoložljivega prostora v trenutno nameščenem datotečnem sistemu | $ hadoop fs -df hdfs: / |
| 4 | Izravnalnik HDFS ponovno uravnoteži podatke v podatkovnih vozliščih, premika bloke iz preveč izkoriščenih v premalo uporabljena vozlišča. | $ hadoop izravnava |
| 5 | Ukaz za pomoč | $ hadoop fs -pomoč |
Vmesni ukazi HDFS:
|
Vmesni ukazi HDFS |
||
| Sr.No | Lastnost ukaza HDFS | Ukaz HDFS |
| 6 | ustvari imenik na podani lokaciji HDFS | $ hadoop fs -mkdir / uporabnik / cloudera / |
| 7 | Kopira podatke z ene lokacije na drugo | $ hadoop fs - vhodni podatki / sample.txt / uporabnik / trening / hadoop |
| 8 | Oglejte si prostor, ki ga zaseda določen imenik v HDFS | $ hadoop fs -du -s -h / uporabnik / cloudera / |
| 9 | Odstranite imenik v Hadoopu | $ hadoop fs -rm -r / uporabnik / cloudera / pigjobs / |
| 10 | Odstrani vse datoteke v danem imeniku | $ hadoop fs -rm -skipTash hadoop / maloprodaja / * |
| 11 | Izpraznite smeti | $ hadoop fs -popravljanje |
| 12 | kopira podatke iz in v lokalno HDFS | $ hadoop fs -copyFromLocal / domov / cloudera / vzorec / / uporabnik / cloudera / flume /
$ hadoop fs -copyToLocal / uporabnik / cloudera / pigjobs / * / domov / cloudera / oozie / |
Napredni ukazi HDFS:
|
Vmesni ukazi HDFS |
||
| Sr.No | Lastnost ukaza HDFS | Ukaz HDFS |
| 13 | spremenite dovoljenja datotek | $ sudo -u hdfs hadoop fs -chmod 777 / uporabnik / cloudera / flume / |
| 14 | nastavite faktor podvajanja podatkov za datoteko | $ hadoop fs -setrep -w 5 / uporabnik / cloudera / pigjobs / |
| 15 | Preštejte število imenikov, datotek in bajtov pod hdfs | $ hadoop fs -count hdfs: / |
| 16 | omogoči, da Namenoda obstaja varen način | $ sudo -u hdfs hdfs dfsadmin -safemode zapustite |
| 17 | Hadoop oblikuje namenode | $ hadoop namenode -format |
Nasveti in triki HDFS:
1) Hitrejše okrevanje lahko dosežemo, ko je število vozlišč grozda večje.
2) Povečanje skladiščenja na enoto poveča čas obnovitve.
3) Strojna oprema Namenode mora biti zelo zanesljiva.
4) Prefinjeno spremljanje je mogoče doseči z ambari.
5) Stradanje v sistemu se lahko zmanjša s povečanjem števila reduktorjev.
Priporočeni članki
To je vodnik za ukaze HDFS. Tu smo razpravljali o ukazih HDFS, funkcijah, njegovih osnovnih, vmesnih in naprednih ukazih s slikovno predstavitvijo, nasveti in triki o ukazih. Če želite izvedeti več, lahko preberete tudi druge naše predlagane članke -
- Ukazi vozlišč
- Matlab ukazi
- Prednosti DBMS
- Ekosistem Hadoop
- Hadoop fs ukazi