Poklic v Hadoopu - uvod

Hadoop ni zgolj okvir v svetu Big Data. Ima širok ekosistem z dežnikom sorodnih tehnologij. Iz istega razloga se obeta kariera v Hadoopu. Če dobro razumete osnove Hadoopa, bo to temelj za veliko kariero v Hadoopu.

Izobraževanje do kariere v Hadoopu

Kot številne nove podatkovne tehnologije tudi Hadoop ne zahteva nobenega posebnega izobraževalnega znanja. Približno polovica razvijalcev Hadoopa je iz ne-računalništva, kot sta statistika ali fizika. Torej je jasno, da ozadje ne ovira vstopa v svet Hadoopa, pod pogojem, da ste se pripravljeni naučiti osnov. Obstajajo dobri spletni tečaji za Hadoop - najboljši primer je eduCBA - master-apache-Hadoop

Nadalje, če se želite poglobiti v določeno področje upravljanja z grozdi v Hadoop ali modeliranja podatkov v materialih Hive o vsaki določeni temi, ki so na voljo kot spletni tečaji in učbeniki. Večino časa bodo skupine Hadoop nastavile v ponudniku oblakov, kot sta AWS ali Azure. Torej, seznanite se s katerim koli ponudnikom oblakov po vaši izbiri vam bo veliko pomagal. Hadoop storitev AWS se imenuje EMR.

Priljubljena specializacija vključuje:

  • Spark - Prilagodljiv motor za obdelavo podatkov v pomnilniku
  • HBase - Brez baze podatkov SQL na vrhu HDFS
  • Širina - Streaming obdelava podatkov prvega pristopa
  • Prašič - skript preoblikovanja podatkov (ETL)
  • Panj - Skladiščenje podatkov
  • Mahout, Spark MLlib - Prilagodljivo strojno učenje na Hadoopu
  • Apache Drill - SQL motor na Hadoopu
  • Flume, Sqoop - Storitve zajemanja podatkov
  • Solr & Lucene - Iskanje in indeksiranje

Poklicna pot v Hadoopu

Glede na rezultate Stack Overflow Survey 2017 je Hadoop vodilni v najbolj priljubljenem in najljubšem okviru v prostoru z velikimi podatki (Survey Link). To je mogoče le zato, ker so ljudje z različnih IT vidikov našli Hadoop potencialno poklicno pot in želijo preiti.

Ne glede na vašo trenutno vlogo IT, se bo v karieri v svetu Hadoop zlahka prilagodil karieri. Nekaj ​​priljubljenih primerov -

  • Razvijalec programske opreme (programer) -> Razvijalec podatkov Hadoop, ki se ukvarja z različnimi SDK-ji za abstrakcijo Hadoop in pridobiva vrednost iz podatkov.
  • Podatkovni analitik -> Torej, ste izkušen v SQL.Huge priložnost v Hadoopu za delo na SQL motorjih, kot sta Hive ali Impala
  • Business Analyst -> Organizacije, ki poskušajo postati bolj donosne z množično zbranimi podatki, pri tem je ključna vloga poslovnega analitika.
  • ETL Developer -> Če delate kot tradicionalni razvijalci ETL, se lahko preprosto premaknete na Hadoop ETL z orodji, kot je Spark.
  • Testerji -> V svetu Hadoop je povpraševanje po testerjih veliko. Z razumevanjem osnov Hadoopa in profiliranja podatkov lahko kateri koli preizkuševalec preide na to vlogo.
  • Poklici BI / DW -> Z lahkoto preklopite na Hadoop Arhitektura podatkov na modeliranje podatkov.
  • Starejši strokovnjaki za IT -> S poglobljenim razumevanjem področja in obstoječih izzivov v podatkovnem svetu lahko višji strokovnjak postane svetovalec, če pridobi znanje o tem, kako Hadoop poskuša rešiti te izzive.
  • Obstajajo splošne vloge, kot so Data Engineers ali Big Data Engineering, ki so odgovorne za implementacijo rešitev večinoma na prodajalcih v oblaku. S pridobitvijo znanja o podatkovnih komponentah v oblaku je to obetavna vloga.

Delovna mesta

Hadoop ekosistem ponuja raznoliko karierno pot

  • MapReduce Developer - To je v bistvu vloga razvijalca Java, ki razume tudi, kako sistemi Hadoop delujejo znotraj. Še vedno so na voljo abstrakcije, kot sta Hive ali Pig, za visoke zmogljive sisteme pa so še vedno potrebna opravila MapReduce. Razvijalci MapReduce so tisti, ki razumejo sistem vstopa in izstopajo in plačujejo zares visoko.
  • Hadoop Administratorji - to so ljudje, ki so odgovorni za ohranjanje zdrave in delovne skupine Hadoop. To lahko vključuje običajne naloge skrbnika, kot so redni pregledi sistema sistema, vendar je večina nalog, potrebnih za razumevanje Hadoop-ove sistemske arhitekture.
  • Razvoj - namestitev novih sistemskih komponent in drugih sprememb, povezanih z razvojem, v grozdu Hadoop. Odgovornost te vloge se zelo razlikuje in je odvisna od kulture organizacije.
  • Razvijalec podatkov - Obdelava podatkov na vrhu Hadoopa. Ta vloga je najbolj priljubljena v ekosistemu Hadoop. Za te vloge se najbolje ujemajo ljudje iz SQL ali analitičnega ozadja. Večinoma delujejo na visoki abstrakciji Hadoop, kot je panj ali prašič.
  • Skrbnik za varnost podatkov - Podatki so najdragocenejše premoženje in njihovo varovanje je najpomembnejše. Varnostni skrbniki zagotavljajo industrijske standardne politike in najboljše prakse za zaščito podatkov z razumevanjem omejitev sistema
  • Vizualizator podatkov - Ravnajte z orodji za vizualizacijo nove generacije, ki omogočajo dinamično rezanje in združevanje podatkov s predpomnilnikom v pomnilniku
  • ETL Developer - Preoblikujte podatke za izboljšanje kakovosti podatkov ali po poslovni logiki z orodji Hadoop ekosistem. Postopek ETL je lahko pretočen ali paketen.
  • System Architect - Oblikujte visoko zmogljive sisteme, ki upoštevajo razpoložljivost podatkov in trajnost na stroškovno učinkovit način. Močno je odvisno od ponudnika strojne opreme.
  • Data Architect - Poleg tradicionalne logične / fizične zasnove podatkov bodo za arhitekt podatkov odgovorne tudi številne stvari, kot so kodiranje stolpcev, denormalizacija, oblikovanje particij itd.

    Priporočeni tečaji

    • Spletno usposabljanje XML in Java
    • Node.JS Tečaji
    • Izobraževalni tečaj Silverlight
    • Program Ember.JS

Plača

Povprečna plača razvijalca programske opreme v ZDA znaša 90.956 USD na leto, povprečna plača razvijalca Hadoop pa je precej višja - 118.234 dolarjev na leto (Kot na strani res --.com)

Plače razvijalca Hadoop v top podjetjih v ZDA (Ref: zaista.com)

Apple147.573 dolarjev na leto
Wipro110.553 dolarjev na leto
HERO.jobs158.715 USD na leto
MBCAA133.422 dolarjev na leto
Ventures Unlimited Inc130.000 dolarjev na leto
Nityo Infotech Services Pvt. Ltd.128.633 dolarjev na leto
SEVERNA ZVEZDA126.370 dolarjev na leto
PRI tehnologija121 396 USD na leto
NITYO INFOTECH116 909 USD na leto
HortonWorks, Inc110.710 USD na leto

Kariera

Ekosistem Hadoop se zelo razhaja, da bi zadovoljil spremembe poslovnih potreb. Ko se generirani podatki eksponentno povečujejo in čedalje več organizacij postaja podprto s podatki, bo pomembnost sistema Hadoop le še naraščala.

Nekaj ​​opaznih trendov:

  • Prehod s paketne obdelave na tok prvega načina obdelave podatkov s pomočjo Spark and Beam
  • Za podatke v realnem času, uporabljeni Spark ML, uporabimo več modela strojnega učenja v realnem času
  • Odklopili SQL motorje iz shranjevanja podatkov, kot je Presto na vrhu S3 za ad-hoc analizo na vrhu podatkovnega jezera.
  • Stolpne baze podatkov MPP, kot je AWS Redshift, za hiter dostop do podatkov

Ker je Hadoop temeljni vidik obdelave velikih podatkov, ki temelji na napakah, porazdeljenih in vodoravno razširljivih sistemih, ki jih dobro izvaja Hadoop, bo Hadoop še naprej vodilni ekosistem za obdelavo podatkov.

Priporočeni članek

To je vodnik za kariero v Hadoopu. Tu smo razpravljali o uvodu, izobraževanju, karierni poti v Hadoopu, plači in karierni perspektivi v Hadoopu. Če želite izvedeti več, si oglejte tudi naslednji članek -

  1. Azure Paas vs Iaas in njihove koristne koristi
  2. Ugotovite razlike med Java proti Node JS
  3. Najboljši strokovni nasveti o karieri v glavnem okviru
  4. Kariera v SQL
  5. Koristne kariere kot programski inženir
  6. Hadoop administrator | Spretnosti in poklicna pot

Kategorija:

Veliki podatki