Uvod v Hadoop fs ukaze

V tem članku bomo preučili ukaze za obdelavo datotek HADOOP, ki se uporabljajo za upravljanje datotek prek konzole.

Potrebovali boste sistem Linux in najnovejšo različico Hadoop-a. Če želite natisniti različico Hadoop, da vemo, kdo je zgradil izdajo, vrednost kontrolne vsote, moramo šele po prijavi na platformo Hadoop izvršiti spodnji ukaz.

Ukaz: Hadoop različica

Ukazi Hadoop fs

Zdaj pa se naučimo uporabljati ukaze HADOOP fs.

Začeli bomo z osnovami. Te ukaze preprosto vtipkajte v PUTTY ali kateri koli konzoli, ki vam ustreza.

1. hadoop fs -ls

V imenik vrne seznam datotek in imenikov, medtem ko za datoteko vrne statistične podatke o datoteki.

hadoop fs -lsr: to je za rekurzivno naštevanje imenikov in datotek pod določenimi mapami.

  • Primer : hadoop fs -ls / ali hadoop fs -lsr
Opomba : hadoop fs -ls (-d) (-h) (-R)
  • -d: Uporablja se za seznam imenikov kot navadnih datotek.
  • -h: Uporablja se za oblikovanje velikosti datotek na človeko berljiv način kot le število bajtov.
  • -R: Uporablja se za rekurziven seznam vsebin imenikov.
2. hadoop fs -mkdir

Ta ukaz vzame pot kot argument in ustvari imenike v hdfs.

  • Primer : hadoop fs -mkdir / user / datahub1 / data
Opomba: Če poskušamo ustvariti podmape, mora obstajati nadrejeni imenik. Če ta pogoj ni izpolnjen, se ne prikaže sporočilo »Ni take datoteke ali imenika«.
3. hadoop fs -touchz

Ustvari prazno datoteko in ne porabi prostora

  • Primer: URI hadoop fs -touchz
4. hadoop fs -rm

Izbrišite datoteke, določene kot argument. Določiti moramo možnost -r za izbris celotnega imenika. In če je podana možnost -skipTrash, bo preskočil smeti in datoteka bo takoj izbrisana.

  • Primer : hadoop fs -rm -r /user/test1/abc.text
5. hadoopfs -rmdir

Odstrani datoteke in dovoljenja iz imenikov in poddirektorjev. V osnovi gre za razširjeno različico Hadoop fs -rm.

6. hadoop fs -cp

Kopira datoteko z ene lokacije na drugo

  • Primer : hadoop fs -cp /user/data/abc.csv / user / datahub
7. hadoop fs -copyFromLocal

Kopira datoteko iz edgenode v HDFS.

8. hadoop fs -put

Kopira datoteko iz edgenode v HDFS, je podobna prejšnjemu ukazu, vendar tudi prebere vhod s standardnega vhoda stdin in zapiše v HDFS

  • Primer : hadoop fs -put abc.csv / user / data
Opomba :
hadoop fs -put -p: Oznaka ohranja dostop, čas spreminjanja, lastništvo in način.
hadoop fs -put -f: Ta ukaz prepiše cilj, če datoteka že pred kopijo obstaja.
9. hadoop fs -moveFromLocal

Podobno je kopiranju iz lokalnega, le da se izvorna datoteka po kopiranju na HDFS izbriše iz lokalne edgenode.

  • Primer : fs -moveFromLocal abc.text / user / data / acb.
10. hadoop fs -copyToLocal

Kopira datoteko iz HDFS v edgenode.

  • Primer : fs -copyToLocal abc.text / localpath
11. hadoop fs -chmod

Ta ukaz nam pomaga spremeniti dostop do datoteke ali imenika

  • Primer : hadoop fs -chmod (-R) (pot)
12. hadoop fs -človek

Ta ukaz nam pomaga spremeniti lastništvo datoteke ali imenika

  • Primer : hadoop fs -chown (-R) (LASTNIK) (:( GROUP)) PATH
13. hadoop fs -cat

Natisne vsebino datoteke HDFS na terminalu

  • Primer : hadoop fs -cat /user/data/abc.csv
14. hadoop fs -tail

V izpis izpiše zadnji KB datoteke HDFS

  • Primer : hadoop fs -tail / in / xyzfile
15. hadoop fs -test

Ta ukaz se uporablja za preizkuse datotek HDFS, vrne 0, če je res.

  • - e: preveri, ali datoteka obstaja.
  • -z: preveri, ali je datoteka ničelna dolžina
  • -d / -f: preveri, ali je pot imenik / datoteka

Tukaj podrobno razpravljamo o primeru

  • Primer : hadoop fs -test - (defz) /user/test/test1.text
16. hadoop fs -du

Prikaže velikosti datotek in imenikov v danem imeniku ali dolžino datoteke, če gre za datoteko

17. hadoop fs -df

Prikaže prosti prostor

18. hadoop fs -checksum

Vrne podatke datoteke o kontrolni vsoti

19. hadoop fs -getfacl

Prikaže seznam nadzora dostopa (ACL) določene datoteke ali imenika

20. hadoop fs-račun

Šteje število imenikov, datotek in bajtov pod potjo, ki ustreza določenemu vzorcu datoteke.

21. hadoop fs -setrep

Spremeni faktor podvajanja datoteke. In če je pot imenik, potem ukaz spremeni faktor podvajanja vseh datotek v imeniku.

  • Primer : hadoop fs -setrep -R / user / datahub: uporablja se za sprejemanje sposobnosti za nazaj in nima učinka.

hadoop fs - setrep -w / user / datahub : čaka, da se podvajanje konča

22. hadoop fs -getmerge

Datoteke HDFS v izvoru povezuje v ciljno lokalno datoteko

  • Primer : hadoop fs -getmerge / user / datahub
23. hadoop fs -appendToFile

Doda en vir ali več virov iz lokalnega datotečnega sistema na cilj.

  • Primer : hadoop fs -appendToFile xyz.log data.csv / in / appendfile
24. hadoop fs -stat

Natisne statistiko o datoteki ali imeniku.

  • Primer : hadoop fs -stat (format)

Zaključek - Hadoop fs povelji

Pregledali smo skoraj vse ukaze, ki so potrebni za obdelavo datotek in ogled podatkov v datotekah. Zdaj lahko spremenite svoje datoteke in zaužite podatke na platformi Hadoop.

Priporočeni članki

To je vodnik za Hadoop fs ukaze. Tukaj razpravljamo o uvodu ukazov Hadoop fs skupaj z njegovim primerom. Če želite izvedeti več, si oglejte tudi naslednje članke -

  1. Namestite Hadoop
  2. Orodja Hadoop
  3. Hadoop arhitektura
  4. Hadoop komponente
  5. Hadoop fs ukazi

Kategorija:

Veliki podatki