Kaj je Apache Spark?
Hadoop organizacije že dolgo uporabljajo za analizo podatkov. Glavni izziv pri Hadoopu je, da traja dolgo poizvedbe po velikem naboru podatkov. Za reševanje te težave je laboratorij UC Berkeley AMP lansiral Apache Spark leta 2009. Apache Spark je odprtokodni motor za analizo velikih podatkov. Gre za kasetni računalniški sistem, zasnovan za hitrejše računalništvo.
Razumevanje iskre Apache
Apache Spark je skupni računalniški okvir za splošne namene. AMP laboratorij UC Berkeley ga je uvedel leta 2009 kot porazdeljeni računalniški sistem. Toda kasneje jih je Apache Software Foundation vzdrževala od leta 2013 do danes. Spark je svetlobni hitri računalniški motor, zasnovan za hitrejšo obdelavo velike velikosti podatkov. Temelji na modelu Hadoop Map Reduce. Glavna značilnost Spark je njegova obdelava v pomnilniku, ki omogoča hitrejše računanje. Ima lasten sistem upravljanja grozdov in za shranjevanje uporablja Hadoop.
Spark podpira paketno aplikacijo, iterativno obdelavo, interaktivne poizvedbe in pretakanje podatkov. Zmanjšuje breme upravljanja ločenih orodij za ustrezno delovno obremenitev.
Kako Apache Spark omogoča tako enostavno delo?
Spark je močan motor za odprtokodno obdelavo podatkov. Zgrajena je za lažjo in hitrejšo obdelavo velikih podatkov. Podpira Java, Python, Scala in SQL, kar programerju daje svobodo, da izbere jezik, ki mu je všeč, in začne hitro razvijati. Spark temelji na MapReduce, vendar za razliko od MapReduce, ne preusmeri podatkov iz enega v drugega grozda, Spark ima vgrajeno pomnilnik, ki omogoča hitrejše delovanje kot MapReduce, vendar še vedno prilagodljiv. Uporablja se lahko za gradnjo aplikacijskih knjižnic ali za izvajanje analitike na velikih podatkih. Spark podpira lenobno ocenjevanje. To pomeni, da bo najprej počakal na celoten sklop navodil in ga nato obdelal. Recimo, če uporabnik želi zapise, filtrirane po datumu, vendar želi le prvih 10 zapisov. Spark bo dobil samo 10 zapisov iz danega filtra, namesto da bi prejel vse zapise iz filtra in nato prikazal 10 kot odgovor. Tako boste prihranili čas in tudi sredstva.
Kaj lahko storite z Apache Spark?
S iskrico lahko izvajate obdelavo podatkov v realnem času in tudi paketno obdelavo. Razen obdelave podatkov iskra podpira zapletene algoritme strojnega učenja. Hitreje lahko ponovi podatke. Spark ima naslednje knjižnice za podporo več funkcionalnosti:
- MLlib je knjižnica, ki omogoča strojno učenje z iskricami.
- GraphX je namenjen ustvarjanju in obdelavi grafikonov.
- Spark SQL in knjižnica podatkovnih okvirov sta za izvajanje operacij SQL na podatkih.
- Knjižnica iskrivih tokov je namenjena obdelavi podatkov v realnem času.
Delo z Apache Spark
Tako kot MapReduce iskra deluje na razdeljenem računalništvu, prevzame kodo in Driver program ustvari opravilo in ga odda v DAG Scheduler. DAG ustvari graf opravila in ga pošlje v Načrtovalnik opravil. Nato opravi planer po sistemu upravljanja grozdov.
Spark uporablja master / slave arhitekturo, glavni koordinira in razdeli nalogo, počitek pa so vsi razdeljeni sistemi podrejeni. Glavni sistem se imenuje "Gonilnik".
Zahtevane veščine
Apache Spark temelji na Javi in podpira tudi Scala, Python, R in SQL. Tako lahko tisti, ki ima znanje katerega koli od teh jezikov, začne sodelovati z Apache Spark.
Apache Spark je porazdeljeni računalniški sistem, zato bi morali pri zagonu z Apache Spark vedeti tudi, kako deluje razdeljena obdelava. Za uporabo iskre v analitiki lahko nekdo, ki ima znanje analitike, kar najbolje izkoristi.
Top Apache Spark podjetja
Spodaj je nekaj top podjetij, ki uporabljajo Apache Spark:
- Amazonka
- Alibaba Taobao
- Baidu
- eBay Inc.
- Hitachi rešitve
- IBM Almaden
- Nokia rešitve in omrežja
- NTT PODATKI
- Simba Technologies
- Stanford Dawn
- Svetovalec za potovanja
- Yahoo!
Zakaj bi morali uporabljati Apache Spark?
Spark je distribucijski računalniški motor, ki ga je mogoče uporabiti za obdelavo podatkov v realnem času. Čeprav je bil Hadoop že prisoten na trgu za obdelavo velikih podatkov, ima Spark veliko izboljšanih funkcij. Spodaj je nekaj teh funkcij:
- Hitrost : Čeprav iskrica temelji na MapReduceu, je pri obdelavi velikih podatkov 10-krat hitrejša od Hadoopa.
- Uporabnost: Spark podpira več jezikov in tako olajša delo.
- Prefinjena analitika: Spark ponuja zapleten algoritem za analitiko velikih podatkov in strojno učenje.
- Obdelava v pomnilniku: Za razliko od Hadoopa, Spark ne premika podatkov v skupino in iz nje.
- Leno vrednotenje: Pomeni, da iskalka počaka, da se koda izpolni, nato pa navodilo obdela na čim bolj učinkovit način.
- Toleranca napak: Spark ima izboljšano odstopanje napak kot Hadoop. Tako shranjevanje kot tudi računanje lahko dopuščata neuspeh z varnostno kopijo na drugo vozlišče.
Obseg
Prihodnost temelji na velikih podatkih, iskra pa ponuja bogat nabor orodij za ravnanje z velikostjo podatkov v realnem času. Njegova hitrost osvetlitve, odpornost napak in učinkovita obdelava spomina omogočajo Spark tehnologijo v prihodnosti.
Zakaj potrebujemo Apache Spark?
Iskra je orodje na enem mestu za obdelavo tokov v realnem času, paketno obdelavo, ustvarjanje grafov, strojno učenje, analitiko velikih podatkov. Podpira SQL za poizvedovanje po podatkih. Kompatibilen je tudi s Hadoopom in drugimi ponudniki oblakov, kot so Amazon, Google Cloud, Microsoft Azure itd. Ima zapletene algoritme za analizo velikih podatkov in podpira iterativno obdelavo za strojno učenje.
Kdo je pravo občinstvo za učenje Apache Spark tehnologij?
Kdor želi narediti nekaj analitike o velikih podatkih ali strojnem učenju, je lahko prava publika za Apache Spark. Je najprimernejše orodje za obdelavo podatkov v realnem času.
Kako vam bo ta tehnologija pomagala pri karierni rasti?
Apache Spark je tehnologija nove generacije. Delo je enostavno, saj podpira več jezikov. Toda učna iskra vas lahko prikaže na najbolj plačanih delovnih mestih pri vrhunskih podjetjih.
Zaključek
Apache Spark je tehnologija nove generacije za obdelavo podatkov v realnem času in za obdelavo velikih podatkov. Učiti se je enostavno in omogoča veliko kariero.
Priporočeni članki
To je vodilo, kaj je Apache Spark. Tu smo razpravljali o karierni rasti, spretnostih in prednostih Apache iskre. Če želite izvedeti več, lahko preberete tudi druge naše predlagane članke -
- Iskreni ukazi
- Kaj je SQL Server?
- Kako namestiti iskrilo
- Kaj je Azure?
- Spark Dataframe SQL
- Okvirji podatkov v R
- Vrste združitev v Spark SQL (primeri)