Uvod v orodja Kafka
Kafka Tools je zbirka različnih orodij, s katerimi lahko upravljamo s svojo gručo Kafka. Orodja večinoma temeljijo na ukazni vrstici, na voljo pa so tudi orodja, ki temeljijo na uporabniškem vmesniku, ki jih je mogoče prenesti in namestiti.
Uporabljamo lahko orodja Kafka za izvajanje različnih operacij, kot so:
- Naštejte razpoložljive grozde Kafka in njihove posrednike, teme in potrošnike.
- Lahko natisne sporočila iz različnih tem v standardnem izhodu. Orodja, ki temeljijo na uporabniškem vmesniku, vsekakor lahko zagotovijo boljšo berljivost.
- Dodajte in spustite teme od posrednikov.
- V particije dodajte nova sporočila.
- Oglejte si vse izravnave naših potrošnikov.
- Ustvari particije naših tem.
- Naštejte vse skupine potrošnikov, opišite skupine potrošnikov, izbrišite informacije o skupinah za potrošnike in ponastavite pobotanje potrošniških skupin.
Če želimo uporabiti orodje, ki temelji na uporabniškem vmesniku, lahko uporabimo orodje Kafka, ki ga lahko naložimo z naslednje spletne strani:
http://www.kafkatool.com/download.html
Ta aplikacija je na voljo brezplačno za osebno uporabo, vendar moramo kupiti licenco za komercialno uporabo. Dobra stvar je njegova razpoložljivost za sisteme Mac, Windows in Linux.
Najboljše 3 vrste orodij Kafka
Orodja Kafka so razvrščena v sistemska orodja in orodja za aplikacije.
1. Sistemska orodja
Sistemska orodja lahko zaženete z naslednjo sintakso.
Sintaksa:
bin/kafka-run-class.sh package.class - - options
Nekatera sistemska orodja so naslednja:
- Orodje za migracijo Kafke : To orodje se uporablja za selitev Kafka posrednika iz ene različice v drugo.
- Consumer Offset Checker: To orodje lahko prikaže skupino potrošnikov, teme, razdelke, off-set, logSize, lastnika za določen nabor tem in potrošniške skupine.
- Izdelava zrcal: To orodje se uporablja za zrcaljenje ene Kafkine grozde do druge.
2. Orodja za razmnoževanje
To so v osnovi oblikovalska orodja na visoki ravni, ki zagotavljajo trajnost in razpoložljivost.
Nekatera orodja za podvajanje so:
- Orodje za ustvarjanje tem : to orodje se uporablja za ustvarjanje tem s privzeto število particij in faktorja podvajanja.
- Orodje za seznam seznamov : to se uporablja za navedbo informacij za določen seznam tem. Odlična stvar tega orodja je, da če v ukazni vrstici že ni na voljo nobene teme, bo Zookeeper poizvedoval, da bo najprej dobil seznam tem in nato natisnil podatke o njih. Navaja različna polja, kot so ime teme, particije, vodja, replike itd.
- Orodje za dodajanje particij : to orodje se uporablja za dodajanje particij v temo, ki je potrebna za povečanje obsega obsega podatkov v temi. Toda upoštevajte, da moramo med ustvarjanjem teme določiti particije. To orodje nam omogoča, da dodamo ročne replike za dodane particije.
3. Razna orodja
Zdaj pa razpravljamo o nekaterih drugih orodjih:
a. Orodje Kafka-Teme
To orodje se uporablja za ustvarjanje, seznam, spreminjanje in opisovanje tem.
Primer: Ustvarjanje teme: bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic topic_name --partitions 30 --replication-factor 3 --config x=y
b. Orodje za potrošnike Kafka-konzola
To orodje lahko uporabite za branje podatkov iz Kafka teme in jih zapišete na standardni izhod
Primer: bin/kafka-console-consumer --zookeeper zk01.example.com:8080 --topic topic_name>/code>
c. Orodje za proizvajalca konzole Kafka
To orodje se lahko uporablja za pisanje podatkov v Kafka Tema iz standardnih izhodov.
Primer: proizvajalec bin/kafka-console-producer --broker-list kafka03.example.com:9091 --topic topic_name
d. Orodje za skupine potrošnikov Kafka
To orodje je mogoče uporabiti za seznam vseh skupin potrošnikov, opisovanje skupine potrošnikov, brisanje informacij o potrošniških skupinah ali ponastavitev poravnave skupine potrošnikov. To orodje se v glavnem uporablja za opisovanje potrošniških skupin in odpravljanje napak v zvezi s kakršnimi koli odmiki potrošnikov.
Primer: ogled odmikov na nezavarovani grozdi: bin/kafka-consumer-groups --new-consumer --bootstrap-server broker01.example.com:9092 --describe --group group_name
Kafka arhitektura
Različne komponente orodij Kafka
Glavne sestavine Kafke so naslednje:
1. Posrednik
Vsako vozlišče v grozdu Kafka je posrednik, ki shranjuje podatke. Običajno obstaja več posrednikov, da pravilno obremenijo obremenitev. Posrednik hrani sporočila v obliki tem, do katerih lahko dostopajo proizvajalci (za pisanje) in potrošniki (za branje). Ustvarjajo se teme za ločevanje podatkov ene aplikacije od podatkov drugih. Ker so posredniki brez državljanstva, potrebujejo pomoč Zookeeperja, da ohranijo stanje grozdov. En posrednik lahko upravlja s sporočili TB brez vpliva na uspešnost. Izvolitve za vodjo posrednika Kafka opravi Zookeeper.
2. Proizvajalec
To je enota, ki potisne sporočila v posrednike. Obstaja lahko več proizvajalcev, ki ustvarjajo podatke z zelo veliko hitrostjo in neodvisno drug od drugega. Proizvajalci od posrednikov ne prejmejo potrdila in pošiljajo podatke s hitrostjo, s katero lahko posredniki ravnajo. Lahko poiščejo posrednike in začnejo pošiljati sporočila takoj, ko se posredniki začnejo. Proizvajalec je odgovoren za izbiro sporočila, ki ga bo dodelil tej particiji znotraj teme. To je mogoče storiti v okroglem robu, da preprosto uravnotežite obremenitev ali pa to storite v skladu z neko funkcijo semantične particije (recimo na podlagi neke tipke v sporočilu).
3. Zookeeper
To je enota, ki upravlja in koordinira posrednike. Zookeeper obvesti proizvajalca ali potrošnika v primeru dodajanja ali nedelovanja posrednika. Vsak posrednik redno pošilja zahteve za srčni utrip zookerju, dokler je živ. Zookeeper tudi hrani informacije o temah in pobotanju potrošnikov.
4. Potrošnik
To je enota, ki bere sporočila iz tem. Potrošnik se lahko naroči in bere iz več tem. Potrošnik lahko deluje vzporedno z drugimi potrošniki (v tem primeru bo vsako particijo bral samo en potrošnik) in tvoril skupino potrošnikov. Ne deluje v sinhronizaciji s proizvajalci. Potrošnik mora ohraniti, koliko sporočil je prebral z izravnavo particije. Če potrošnik sprejme določeno pobotanje particije, to pomeni, da je že porabil predhodna sporočila v particiji.
Zaključek
V tem članku smo izvedeli, kako lahko z različnimi orodji Kafka za učinkovito upravljanje naše Kafke grozde uporabljamo. Spoznali smo tudi različne sestavine ekosistema Kafka in njihovo medsebojno interakcijo.
Priporočeni članki
To je vodnik za orodja Kafka. Tukaj razpravljamo o vrstah orodij Kafka, različnih sestavnih delih Kafke skupaj z arhitekturo Kafka. Če želite izvedeti več, si oglejte tudi naslednji članek -
- Najboljše aplikacije Kafka
- Pojasnilo velike arhitekture podatkov
- Najboljša orodja za podatkovno znanost
- Razlike med Kafko in Spark