Naučite se 10 najboljših razlik med MapReduce proti preji

Razlika med zmanjšanjem zemljevida in preje

Preja pomeni še en pogajalec o sredstvih, to je nov okvir za upravljanje virov (pomnilnik in procesor). Pomaga nam pri razvoju distribuirane aplikacije katere koli vrste, nudi nam potrebne demone in API-je. Druga pomembna lastnost programa YARN je, da obravnava in načrtuje zahtevo po virih iz aplikacije in pomaga procesu pri izvedbi zahteve. YARN je generična platforma za zagon katere koli distribuirane aplikacije, različica 2 zmanjša zemljevid, je distribuirana aplikacija, ki se izvaja nad YARN, medtem ko zemljevid redukcije predstavlja procesno enoto komponente Hadoop, obdeluje podatke vzporedno v razdeljenem okolju. Tako v bistvu zmanjšuje preslikavo dela na ogromni komponenti podatkov, obdela podatke in shrani v HDFS tako, da je iskanje lažje kot tradicionalno shranjevanje.

Primerjava med glavo in MapReduce proti preji (Infographics)

Spodaj je zgornjih 10 primerjav med MapReduce proti preji

Ključna razlika med MapReduce proti preji

V Hadoopu 1 ima dve komponenti, prva je HDFS (Hadoop Distributed File System) in druga je Map Reduce. Medtem ko ima v Hadoop-u 2 tudi dva komponenta HDFS in YARN / MRv2 (ponavadi ga imenujemo YARN kot različica 2 za znižanje zemljevida).
Pri zmanjšanju zemljevida, ko zmanjšanje zemljevida preneha delovati, potem samodejno preneha delovati vse njegovo podrejeno vozlišče, to je edini scenarij, kjer se lahko izvršitev opravila prekine in se imenuje ena sama točka napake. YARN premaga to težavo zaradi svoje arhitekture, YARN ima koncept vozlišča Active name kot tudi vozlišče ime pripravljenosti. Ko aktivno vozlišče nekaj časa preneha delovati, pasivno vozlišče začne delovati kot aktivno vozlišče in nadaljuje z izvajanjem.
Zmanjšanje zemljevidov ima eno samo glavno in več podrejeno arhitekturo. Če se podrejeni nadrejeni podre, potem celoten podrejeni preneha delovati, to je HADOOP1 edina točka napake, medtem ko ima HADOOP2, ki temelji na arhitekturi YARN, koncept več glavnega in podrejenega, če se en mojster spusti, bo drugi mojster nadaljeval postopek in nadaljeval z izvajanjem.
Kot lahko vidimo na spodnjem diagramu, je razlika v obeh ekosistemih HADOOP1 in HADOOP2. Komponentno YARN Resource Management deluje z zmanjšanjem zemljevidov in HDFS.

Torej je v bistvu YARN odgovoren za upravljanje virov, katero delovno mesto bo izvedlo, kateri sistem se bo odločil YARN, medtem ko je zmanjšanje zemljevidov programski okvir, ki je odgovoren za izvedbo določenega opravila, tako da v bistvu zmanjšanje zemljevida vsebuje dva komponenta preskočevalnik in reduktor za izvedbo programa.

V mapi zmanjšajte vsako podatkovno vozlišče, ki se izvaja posamezno, medtem ko v preji vsako podatkovno vozlišče vodi upravljavec vozlišč.
Zmanjšanje zemljevidov uporablja Job tracker za ustvarjanje in dodelitev naloge sledilcu opravil zaradi podatkov, upravljanje vira ni impresivno, kar pomeni, da bodo nekatera podatkovna vozlišča v prostem teku in ne koristijo, medtem ko ima YARN za vsakega upravljavca virov grozda in vsako podatkovno vozlišče izvaja upravitelja vozlišč. Za vsako opravilo bo eno nadrejeno vozlišče delovalo kot vodja aplikacij in nadzira vire / naloge.

Primerjalna tabela MapReduce proti preji

Osnove za primerjavo	PREJ	Znižaj zemljevida
Pomen	Preja pomeni še enega pogajalca o virih.	Zmanjšanje zemljevida je samoumevno.
Različica	Predstavite se v Hadoopu 2.0	Uvedite v Hadoop 1.0
Odgovornost	Zdaj je YARN odgovoren za del upravljanja virov.	Prej Map Map je bil odgovoren za upravljanje virov in obdelavo podatkov
Izvedbeni model	Model izvedbe preje je bolj splošen v primerjavi z zmanjšanjem zemljevida	Manj generično v primerjavi z PRE.
Izvedba aplikacije	YARN lahko izvaja tudi tiste programe, ki ne sledijo modelu zmanjšanja zemljevidov	Map Reduce lahko izvaja svojo aplikacijo, ki temelji na modelu.
Arhitektura	YARN je predstavljen v MR2 na vrhu sledilnika opravil in sledilnika opravil. Na mesto sledilnika opravil in sledilnika nalog Aplikacija pride na sliko.	V prejšnji različici MR1 preje ni, namesto YARN pa je bil prisoten sledilnik zaposlitve in sledilnik opravkov, ki pomagata pri izvajanju vloge ali opravil
Prilagodljivost	Preja je bolj izolirana in razširljiva	Manj razširljiv v primerjavi z PRE.
Demonisti	YARN ima ime vozlišče, vozlišče podatkov, sekundarno ime vozlišča, upravitelja virov in upravitelja vozlišč.	Map Reduce ima ime vozlišča, podatkovno vozlišče, sekundarno ime vozlišče, sledilnik opravil in sledilnik opravil.
Omejitev	V YARN ni koncepta enotne točke odpovedi, ker ima več mojstrov, tako da, če eden ne uspe, ga bo drugi mojster pobral in nadaljeval z izvajanjem.	Posamezna točka odpovedi, majhna poraba virov (največ 4200 grozdov YAHOO) in manjša razširljivost v primerjavi z YARN
Velikost	Privzeto je velikost podatkovnega vozlišča v YARN 128 MB	Privzeto je velikost podatkovnega vozlišča v Map Map redukciji 64 MB.

Zaključek - MapReduce proti preji

V Hadoopu 1, ki temelji na zmanjšanju zemljevidov, je več težav, ki jih v Hadoopu 2 premagajo s prejo. Tako kot v Hadoopu 1 je tudi sledilnik zaposlitve odgovoren za upravljanje virov, vendar ima YARN koncept upravitelja virov in upravitelja vozlišč, ki bo prevzel upravljanje virov. Zmanjšanje zemljevidov ima eno samo točko neuspeha, tj. Sledilnik zaposlitve, če sledilnik opravkov preneha delovati, moramo znova zagnati celoten grozd in ponovno opraviti nalogo iz začetne. V resničnem scenariju nobena organizacija ne želi prevzeti tovrstnih tveganj, zlasti v bančnem obrambnem sektorju. Takšna organizacija, ki deluje na racionaliziranih podatkih, ne bo pripravljena sprejeti tovrstne nevarnosti. Za nekaj minut bodo izgubili svoje podatke in lahko imajo kritičen poslovni učinek. Torej ima YARN boljši rezultat v primerjavi z zmanjšanjem zemljevidov.

Priporočeni članek

To je vodnik za MapReduce proti preji, njihov pomen, primerjava med seboj, ključne razlike, tabela primerjave in sklep. Če želite izvedeti več, si oglejte tudi naslednje članke -