Razlika med prašičkom Apache in panjom Apache
Zgodba o Apache Pig se začne leta 2006, ko se je raziskovalec Yahoo boril s kodami MapReduce Java. Bilo je težko ponovno uporabiti in vzdrževati kodo za kompilacijo. Obenem so opazili, da uporabniki MapReduce niso zadovoljni z deklarativnimi jeziki, kot je SQL. Začeli so delati na novem jeziku, ki naj bi se lepo prilegel med deklarativni slog SQL, nizko raven in proceduralni slog MapReduce. To je povzročilo rojstvo Pig in prva izdaja Pig je prišla septembra 2008, do konca leta 2009 pa je približno polovica delovnih mest v Yahooju bila delovna mesta Pig.
Zgodba o Apache Hive se začne leta 2007, ko se morajo programerji, ki niso Java, boriti med uporabo Hadoop MapReduce. IT strokovnjak iz baze podatkov se je soočal z izzivi pri delu na Hadoop Clusterju. Sprva so raziskovalci, ki delajo na Facebooku, izumili jezik Hive. Ta jezik je bil zelo podoben jeziku SQL. Tako se je jezik imenoval Hive Query Language (HQL) in kasneje postane projekt odprtokodne skupnosti Apache. Potem ko je postal projekt Apache Community, se je v Apache Piveju zgodil velik razvoj. Facebook je bil prvo podjetje, ki je pripravilo Apache Hive.
Naj pojasnim podrobneje o Apache Pig vs Apache Pive.
Predstavljamo Apache Pig vs Apache Pive
Apache Pig je platforma za analizo velikih nizov podatkov, ki je sestavljena iz jezika na visoki ravni za izražanje programov za analizo podatkov, skupaj z infrastrukturo za ocenjevanje teh programov. Apache je odprtokodni projekt skupnosti Apache. Apache Pig ponuja preprost jezik, imenovan Pig Latin, za poizvedbe in obdelavo podatkov.
Prašiča uporabljajo podjetja, kot so Yahoo, Google in Microsoft, za zbiranje ogromnih količin podatkov v obliki tokov klikov, zapisov iskanja in spletnih pajkov.
- Apache Pig ponuja gnezdene vrste podatkov, kot so Zemljevidi, Tupleji in Vreče
- Apache Pig Upošteva pristop z več poizvedbami, da se izogne večkratnim pregledom podatkovnih nizov.
- Programerji, ki poznajo skriptni jezik, raje Apache Pig
- Prašič je enostaven, če dobro poznate SQL
- Za delo na Apache Pig ni treba ustvariti sheme
- Pig ponuja tudi podporo pri večjih podatkovnih operacijah, kot so Naročanje, Filtri in Pridružitve
- Okvir Apache Pig prevaja latinsko prašičje v sekvence programov MapReduce
Programska oprema za shranjevanje podatkov Apache Hive olajša branje, pisanje in upravljanje velikih nizov podatkov, ki se nahajajo v porazdeljenem pomnilniku s pomočjo SQL. Apache Hive je odprtokodni projekt Apache, zgrajen na vrhu Hadoopa, za poizvedovanje, povzemanje in analizo velikih nizov podatkov z uporabo vmesnika, podobnega SQL-u. Apache panj zagotavlja jezik, podoben SQL, imenovan HiveQL, ki pregledno pretvori poizvedbe v MapReduce za izvajanje na velikih naborih podatkov, shranjenih v distribucijskem datotečnem sistemu Hadoop (HDFS).
- Apache Hive je infrastruktura skladišča podatkov.
- Apache Hive je orodje ETL (Extraction-Transformation-Loading)
- Apache panj je podoben SQL
- Apache Hive omogoča prilagojene zemljevide in reduktorje
- Apache Hive povečuje fleksibilnost načrtovanja sheme z uporabo serializacije in deserializacije podatkov
- Apache panj je analitično orodje
Primerjava med glavo med Apache Pig in Apache Pive (Infographics):
Ključne razlike med Apache Pig in Apache Hive:
- Apache Pig hitreje primerja Apache Pive
- Apache Pig in Apache Hive poteka na vrhu Hadoop MapReduce
- Apache Pig je najboljši za strukturirane in polstrukturirane, medtem ko je Apache Pive najboljši za strukturirane podatke
- Apache Pig je procesni jezik, medtem ko je Apache Pive deklarativni jezik
- Apache Pig podpira funkcijo cogroup za zunanje povezave, medtem ko Apache Hive ne podpira
- Apache Pig nima vnaprej določene baze podatkov za shranjevanje tabel / sheme, medtem ko ima Apache Hive vnaprej določene tabele / shemo in shranjuje svoje podatke v bazo podatkov.
- Apache Pig je primeren tudi za kompleksno in ugnezdeno strukturo podatkov, medtem ko je Apache Hive manj primeren za kompleksne podatke
- Raziskovalci in programerji uporabljajo prašiča Apache, medtem ko analitiki podatkov uporabljajo Apache Pive
Kdaj uporabljati Apache Pig:
- Ko ste programer in poznate skriptni jezik
- Ko med nalaganjem ne želite ustvariti sheme
- Zahteve po ETL
- Ko delate na stranki skupine Hadoop
- Ko delate na datotečni obliki Avro Hadoop
Kdaj uporabljati Apache Hive:
- Zahteve po skladiščenju podatkov
- Analitična poizvedba zgodovinskih podatkov
- Analiza podatkov, ki poznajo SQL
- Med delom na strukturiranih podatkih
- Podatkovni analitiki
- Za vizualizacijo in ustvarjanje poročil
Primerjalna tabela Apache Pig vs Apache Pive
Razpravljam o večjih artefaktih in ločim med prašičkom Apache in Apache Pive.
| Prašič Apač | Apache panj | |
| Obdelava podatkov | Apache Pig je jezik pretoka podatkov na visoki ravni | Apache Hive se uporablja za paketno obdelavo, tj. Spletno analitično obdelavo (OLAP) |
| Hitrost obdelave | Apache Pig ima večjo zamudo zaradi izvajanja opravila MapReduce v ozadju | Apache Hive ima tudi večje zamude zaradi izvajanja opravila MapReduce v ozadju |
| Združljivost s Hadoop-om | Apache Pig teče na vrhu MapReduce | Apache Hive deluje tudi na vrhu MapReduce |
| Opredelitev | Apache Pig je odprtokodni sistem pretoka podatkov na visoki ravni, ki vam omogoča preprosto jezikovno platformo, pravilno imenovano Pig Latin, ki se lahko uporablja za manipulacijo s podatki in poizvedbami. | Apache Hive je odprtokoden in podoben SQL, ki se uporablja za analitične poizvedbe |
| Uporabljeni jezik | Apache Pig uporablja proceduralni jezik pretoka podatkov, imenovan Pig Latin | Apache Hive uporablja deklarativni jezik, imenovan HiveQL |
| Shema | Apache Pig nima koncepta sheme. Podatke lahko shranite v vzdevku. | Apache panj podpira shemo za vstavljanje podatkov v tabele |
| Spletni vmesnik | Apache Pig ne podpira spletnega vmesnika | Apache Hive podpira spletni vmesnik |
| Operacije | Apache Pig se uporablja za strukturirane in polstrukturirane podatke | Apache Hive se uporablja za strukturirane podatke. |
| Specifikacija uporabnika | Apache Pig uporabljajo raziskovalci in programerji | Apache Hive uporablja Data Analyst |
| Deluje vklopljeno | Apache Pig deluje na strani odjemalca | Apache panj deluje na strani strežnika grozda |
| Metode razdelitve | V prašiču Apache ni koncepta delitve | Apache Hive podpira funkcije Sharding |
| Oblika datoteke | Apache Pig podpira format datoteke Avro | Apache panj neposredno ne podpira formata Avro, vendar lahko podpira uporabo "org.apache.hadoop.hive.serde2.avro" |
| JDBC / ODBC | Apache Pig ne podpira | Apache panj podpira, vendar omejeno |
| Odpravljanje napak | Skripte prašičev lahko odpravite z napako | Odpravimo lahko napako, vendar je malo zapleteno |
Zaključek - Med Apache Pig in Apache Pive:
Opa Apache Pig in Apache Hive se običajno uporabljata v grozdu Hadoop. Tako Apache Pig kot Apache Pive je močno orodje za analizo podatkov in ETL. Apache Pig in Apache Pive se večinoma uporabljajo v proizvodnem okolju. Uporabnik mora izbrati orodje na podlagi podatkovnih vrst in pričakovanega izhoda. Obe orodji ponujata edinstven način analize velikih podatkov na grozdu Hadoop. Na podlagi zgornje razprave lahko uporabnik za svoje potrebe izbira med Apache Pig in Apache Hive.
Priporočeni članek
To je vodnik za Apache Pig vs Apache Pive, njihov pomen, primerjava med glavo, ključnimi razlikami, primerjalno tabelo in sklep. Če želite izvedeti več, si oglejte tudi naslednje članke -
- Vprašanja za razvijalca Hadoop
- Hadoop proti Hive
- Kako razbiti Hadoopov razvijalski intervju?
- Apache Hive proti Apache HBase
- Apache Hadoop proti Apache Spark