Uvod v arhitekturo preje Hadoop

MapReduce so v prejšnji različici 1.0 Hadoop uporabljali za upravljanje virov in obdelavo. Tu je Job Tracker izvedel dodeljevanje virov, načrtovanje in spremljanje opravil z dodeljevanjem zemljevida in zmanjšanjem opravil v sledilniku opravil. To je povzročilo vprašanja, kot so razširljivost, neučinkovita uporaba virov. Ker je okvir Hadoop z leti doživel več sprememb; vidimo, da ga lahko uporabimo za opravljanje veliko več kot samo za izvajanje opravil MapReduce. YARN pomeni še en pogajalec o sredstvih, imenovan sistem upravljanja grozdov Hadoop, ki je bil uveden s sistemom Hadoop 2.0 za podporo porazdeljenih računskih storitev, kar tudi izboljšuje izvajanje MapReduce. V YARN so upravitelj virov in načrtovalci zunaj okvira. Torej v YARN, čeprav imamo podatkovna vozlišča, ni več sledilcev opravil ali sledilcev opravkov. Tudi z YARN lahko imamo upravljanje z viri, pa tudi splošno načrtovanje. V tej temi bomo spoznali različno arhitekturo preje

Pojasnite Hadoop PRE arhitekturo z diagramom

(Arhitektura preje Hadoop)

YARN uvaja koncept upravitelja virov in vodje aplikacij v Hadoop 2.0. Upravitelj virov vidi uporabo virov v celotni grozdi Hadoop, medtem ko življenjski cikel aplikacij, ki se izvajajo v določenem grozdu, nadzira vodja aplikacij. V bistvu lahko rečemo, da se za vire grozdov poveljnik aplikacij pogaja z upraviteljem virov. To nalogo izvajajo posode z določenimi omejitvami pomnilnika. Nato se ti zabojniki uporabljajo za izvajanje procesov, specifičnih za aplikacijo, prav tako pa te vsebnike nadzirajo upravljavci vozlišč, ki delujejo na vozliščih v grozdu. To bo potrdilo, da aplikacija ne uporablja več kot dodeljenih virov.

Različne sestavine preje

Spodaj so različne komponente preje.

1) Upravljavec virov

YARN deluje prek upravitelja virov, ki je eno na vozlišče, in upravitelja vozlišč, ki deluje na vseh vozliščih. Upravitelj virov upravlja z viri, ki se uporabljajo v celotni grozdi, in Node Manager kosi in spremlja vsebnike. Planer in upravitelj aplikacij sta dve komponenti upravitelja virov.

  • Razpored načrtovanja : Načrtovanje se izvede na podlagi zahtev po virih. YARN ponuja nekaj načrtovalcev, ki jih lahko izbirajo, in oni so pravični in zmogljivostni načrtovalec. V primeru okvare strojne opreme ali aplikacije, Planer ne zagotovi ponovnega zagona neuspelih nalog. Poleg tega Scheduler dodeli vire tekočim aplikacijam na podlagi zmogljivosti in čakalne vrste.
  • Upravitelj aplikacij : Upravlja zagon nadrejenega programa v grozdu in ob neuspehu vsebniškega programa vsebnika pomaga pri ponovnem zagonu. Prav tako je odgovoren za sprejem oddaje delovnih mest.

2) Upravitelj vozlišč

Node Manager je odgovoren za izvedbo naloge v vsakem vozlišču podatkov. Upravljalec vozlišč v YARN privzeto pošlje srčni utrip upravitelju virov, ki nosi informacije o tekočih vsebnikih in o razpoložljivosti virov za nove vsebnike. Odgovoren je za ogled vozlišč v grozdu posamično in upravljanje delovnih procesov in opravil uporabnikov na določenem vozlišču. V glavnem upravlja vsebniške vsebnike, ki jih dodeli Upravitelj virov. Node Manager zažene vsebnike z ustvarjanjem postopkov, ki jih zahteva, in tudi ubija posode, kot to zahteva upravitelj virov.

3) Posode

Vsebniki so na voljo vira, kot so RAM, CPU in pomnilnik itd., Na enem vozlišču in jih načrtuje Resource Manager in nadzira Node Manager. Življenjski cikel Container upravlja s posodami YARN z uporabo konteksta zagona vsebnika in omogoča dostop do aplikacije za specifično uporabo virov v določenem gostitelju.

4) Poveljnik aplikacij

Spremlja izvajanje nalog in tudi upravlja življenjski cikel aplikacij, ki se izvajajo na grozdu. Ko je poslana v okvir, se posamezni vodja aplikacij poveže s službo. Njegova glavna odgovornost je pogajanje o virih od upravitelja virov. Deluje z upraviteljem vozlišč za spremljanje in izvajanje nalog.

Če želite zagnati aplikacijo prek programa YARN, izvedite spodnje korake.

  • Odjemalec stopi v stik z upraviteljem virov, ki zahteva zagon postopka prijave, tj. Odda aplikacijo YARN.
  • Naslednji korak je, da upravitelj virov poišče upravitelja vozlišč, ki bo nato zagnal glavnega programa v zabojnik.
  • Upravitelj aplikacij lahko izvede izvedbo v vsebniku, v katerem se trenutno izvaja, in odjemalcu zagotovi rezultat, lahko pa zahteva več vsebnikov od upravitelja virov, ki mu lahko rečemo porazdeljeno računanje.
  • Odjemalec se nato obrne na upravitelja virov, da spremlja stanje aplikacije.

Pri MapReduce v različici 1.0 Hadoop (MRV1) je bilo določeno število zemljevidov in manjše reže na vozlišču. Tudi v grozdu Hadoop, saj so se zmogljivosti strojne opreme spreminjale in število opravil v določenem vozlišču je bilo treba ročno omejiti. Toda pri YARN je ta pomanjkljivost premagana, ker tukaj upravitelj virov ve za zmogljivost vsakega vozlišča, ko komunicira z upraviteljem vozlišč, ki deluje na vsakem vozlišču.

Zaključek - Hadoop YARN Arhitektura

YARN pomaga pri premagovanju težav s skalabilnostjo MapReduce v Hadoopu 1.0, saj deli delo Job Trackerja, tako pri razporejanju delovnih mest kot pri spremljanju napredka nalog. Prav tako je odpravljeno vprašanje razpoložljivosti, tako kot prej v Hadoopu 1.0, je neuspeh Job Tracker privedel do ponovnega zagona nalog. YARN je prišel z mnogimi dodatnimi bonusi, kot je boljša uporaba virov, saj ni fiksnih mest za naloge, saj omogoča centralno upravljanje virov. Torej, z YARN so številna vprašanja, s katerimi se soočajo v prejšnji različici Hadoopa, premagana, saj pomaga pri ločevanju obdelave podatkov od načrtovanja in upravljanja virov. Z YARN je mogoče neodvisno zagnati interaktivne poizvedbe in zagotoviti boljšo analizo v realnem času.

Priporočeni članki

To je vodnik Hadoop YARN Architecture. Tukaj razpravljamo o različnih komponentah preje, ki vključujejo upravitelja virov, upravitelja vozlišč in vsebnike skupaj z arhitekturo. Če želite izvedeti več, lahko preberete tudi druge naše predlagane članke -

  1. Ekosistem Apache Hadoop
  2. Hadoop komponente ekosistema
  3. Hadoop komponente
  4. Ekosistem Hadoop

Kategorija:

Veliki podatki