Uvod v Sqoop ukaze
V ukazih Sqoop se vsaka vrstica obravnava kot zapisi, naloge pa se z nalogo Map Map razdelijo na podvrste. Baze podatkov, ki jih podpira sqoop, so MYSQL, Oracle, IBM, PostgreSQL. Sqoop ponuja preprosto ukazno vrstico, preko ukazov sqoop lahko iz različnih baz podatkov pridobimo podatke. Napisani so v Javi in uporablja JDBC za povezavo z drugimi bazami podatkov.
Pomeni 'SQL to Hadoop' in Hadoop to SQL ter odprtokodno orodje. Je orodje za povezovanje aplikacij, ki prenaša množične podatke med sistemom relacijskih baz podatkov in Hadoopom (Hive, zmanjšanje zemljevidov, Mahout, Pig, HBase). Uporabnikom omogočajo, da določijo ciljno lokacijo v Hadoopu in naredijo sqoop za premikanje podatkov iz RDMS-a v cilj. Ponujajo optimizirane povezave MySQL, ki uporabljajo API-je, specifične za bazo podatkov, za popolno skupno prenašanje. Uporabnik uvaža podatke iz zunanjih virov, kot sta Hive ali Hbase. Skladišče ima dve obliki datotek: razmejena oblika besedilne datoteke in oblika zaporedne datoteke.
Tu so osnovni ukazi ukazov Sqoop:
-
Seznam tabel:
Ta ukaz navaja posebno tabelo baze podatkov na strežniku MYSQL.
Primer:
-
Ciljni imenik:
Ta ukaz uvozi tabelo v določenem imeniku v HDFS. -m označuje argument mapperja. Imajo celo število.
Primer:
-
Zaščita gesla:
Primer:
-
sqoop-eval:
Ta ukaz hitro zažene poizvedbe SQL ustrezne baze podatkov.
Primer:
-
sqoop - različica:
Ta ukaz prikaže različico sqoop-a.
Primer:
-
delo na terenu
Ta ukaz nam omogoča ustvarjanje opravila, parametre, ki so ustvarjeni, lahko kadar koli prikličemo. Vzamejo možnosti, kot so (– ustvari, –ponovi, –prikaže, –izhod).
Primer:
-
Nalaganje datoteke CSV v SQL:
Primer:
-
Konektor:
Primer:
-
kodni gen:
Ta ukaz Sqoop ustvari datoteke razreda java, ki obkrožijo uvožene zapise. Vse datoteke java so znova ustvarjene in ustvarjene so nove različice razreda. Ustvarijo kodo za interakcijo z zapisi podatkovnih baz. Pridobi seznam vseh stolpcev in njihovih podatkovnih vrst.
Primer:
10.Listva-baza podatkov:
V tem seznamu ukazov Sqoop je na voljo vsa baza podatkov na strežniku RDBMS.
primer:
Vmesni ukazi Sqoop ukazov:
1.sqoop -meta trgovina:
Ta ukaz gosti depozitorij metapodatkov v skupni rabi. Več / oddaljeni uporabniki lahko izvajajo več opravil.
Ukaz:
$ sqoop .metastore.client.autoconnect.url
primer: jdbc: hsqldb: hsql: // metastore .example.com / sqoop
2. sqoop -help:
Ta ukaz navaja orodja, ki so na voljo v sqoopu, in njihov namen.
Ukaz:
$ sqoop pomoč
$ bin / sqoop pomagajo pri uvozu
3. Izvoz:
Ta ukaz izvozi podatke iz HDFS v bazo RDMS. V HDFS so podatki shranjeni kot zapisi.
Ukaz:
$ sqoop izvoz \ –povezati jdbc: mysql: // localhost / inventar - uporabniško ime jony –table lib –export -dir / user / jony / inventar.
4. Vstavite:
Ta ukaz vstavi nov zapis iz HDFS v RDBMS tabelo.
Ukaz
$ sqoop izvoz –povezati JDBC: MySQL: // localhost / sqoop_export - tabela emp_exported –export -dir / sqoop / newemp -m -000
5. Posodobitev:
Ta ukaz Sqoop posodablja zapise v RDBMS iz HDFS podatkov.
Ukaz
$ sqoop izvoz –povezati JDBC: MySQL: // localhost / sqoop_export - tabela emp_exported –export -dir / sqoop / newemp -m -000 –update -key id
6. Možnost šarže:
Ta ukaz vstavi več vrstic skupaj, s pomočjo gonilnika Sqoop JDBC optimizirajo hitrost vstavljanja.
Ukaz
$ sqoop izvoz \ -povezavo JDBC: MySQL: // ime gostitelja / –nastavitev imena -password -export -dir
7. Split:
Ko uporabite ta ukaz, je klavzula kje uporabljena za celoten SQL.
Ukaz
$ sqoop import -D mysql: // jdbc: // where.clause.location = SPLIT –table JUNK - kjer je »rownum <= 12«
8. Datoteka AVRO v HDFS:
Podatke RDBMS shranjujejo kot datoteko Avro.
Ukaz
$ sqoop uvoz –povezavo JDBC: MySQL: // localhost / Acadgild –korjen uporabniškega imena - geslo str.34 - tabela plačila -m1 – tarča -dir / sqoop_data / Payment / avro / == as -avrodatfile.
Napredni ukazi Sqoop ukazov:
Uvozi ukazov:
Uvozni ukazi imajo argumente nadzora uvoza. različni argumenti so naslednji:
- meja: uporablja se za ustvarjanje razcepov.
- kot - besedilna datoteka: uvozi navadne besedilne podatke
- -stolpci (: stolpci za uvoz tabele
- -m, - num: uvoziti vzporedne naloge preslikave
- razčlenjeno: razdeli stolpec tabele
- -z, - stiskanje: omogočeno je stiskanje podatkov.
Argumenti postopnega uvoza:
- check - stolpec: Označi stolpce, da določi, katere vrstice se bodo uvozile.
- inkrementalno (način): označuje nove vrstice (vključuje dodajo in zadnje spremembe vrstic)
Argumenti izhodne vrstice:
- vrstice -končana -by: Nastavijo eolski značaj
- MySQL - razmejevalniki: postavljajo \ n polja: vrstice:
Uvoz v panj
- panj - uvoz: Uvažajo mize v panj
-vesto - ključ particije: Ime particije je deljeno.
-hive - prepiši: Prepišejo podatke v obstoječi tabeli.
Uvoz v argumente Hbase:
-accumulo-table: Ta podatek za ciljno tabelo v HBase.
-accumulo-stolpec: Za uvoz nastavi ciljni stolpec.
-accumulo -: Za uvoz imena akumulacije
–Accumulo -: Za uvoz gesla akumulatorja
Shranjevanje v datotekah zaporedja:
$ sqoop import -connect jdbc: mysql: //db.foo.com/emp -ime zalog \ - ime razreda com.foo.com.Inventory -as - zaporedni profil
Poizvedba uvoza:
Ta ukaz poda stavek Sql z argumentom -query.
$ sqoop import \ - poizvedi 'IZBERI a. *, b. * iz JOIN b na (a.id = b.id), kjer $ pogoje' \ -split - avtor / target-dir / user
Povečanje izvoza:
$ sqoop izvoz –povezava –stavljiv –uporabnik –polovica –inkrementacija –klic – vrstica –pretekla vrednost
Uvoz vseh tabel v HDFS:
$ sqoop import -all - tabele –povezati jdbc: mysql: // localhost / sale_db - uporabniško ime root.
Uvoz podatkov v Hive:
$ sqoop uvoz –povezava –stavljiv –uporabnik –proč beseda – panj-uvoz - panj-tabela
Uvoz podatkov v HBase:
ukaz:
$ sqoop uvoz –povezava –stavljiv –nastavitev –pogostoba – panj-uvoz - HBase -table
Kodiranje ničelnih vrednosti:
ukaz:
$ mysql import \ –povezati JDBC: MySQL: //mysql.ex.com/sqoop \ –uporabnik sqoop \ -password sqoop \ –table lib \ –null -string “
Nasveti in nasveti za uporabo ukazov Sqoop:
Če želimo podatkovne operacije izvesti učinkovito, moramo uporabiti sqoop, samo skozi eno ukazno vrstico lahko v njem opravimo veliko nalog in podzdaj. Sqoop se prek konektorjev poveže z različnimi relacijskimi bazami podatkov in z njimi uporablja gonilnik JDBC. Ker sqoop deluje na lastnem viru, lahko sqoop izvedemo brez namestitvenega postopka. Izvedba sqoopa je enostavna, ker vzporedno izvajamo podatke. Z zmanjšanjem zemljevida lahko uvozimo in izvozimo podatke, kar posledično omogoča vzporedno izvedbo.
Zaključek - Ukazi Sqoop:
Za zaključek Sqoop Commands ureja postopek uvoza in izvoza podatkov. Sqoop omogoča posodabljanje delov tabele s povečanjem obremenitve. Uvoz podatkov v sqoop ne temelji na dogodkih. In tu je na voljo sqoop2 z omogočenim GUI-jem za enostaven dostop skupaj z ukazno vrstico. Prenos podatkov je hiter, ko se prenašajo vzporedno. V okolju Hadoop igrajo ključno vlogo. Svoje delo opravljajo samostojno, pri uvozu majhnih podatkovnih nizov ni potrebno.
Priporočeni članki
To je vodnik za ukaze Sqoop. Tu smo razpravljali o osnovnih in naprednih ukazih Sqoop ter nekaj neposrednih ukazov Sqoop. Če želite izvedeti več, si oglejte tudi naslednji članek -
- Sqoop Intervju Vprašanja in odgovori
- Natančni list SQL (ukazi, brezplačni nasveti in triki)
- Pomembni ukazi VBA
- Ukazi Tableau