Uvod v podatkovni cevovod AWS
Podatki rastejo iz dneva v dan in postajajo težko upravljati v primerjavi s preteklostjo. Potrebujemo orodja in storitve za učinkovito upravljanje naših podatkov in z nižjimi stroški. Tukaj pridejo v poštev AWS Data Pipeline. Ne gre samo za shranjevanje podatkov, ampak morate na istem mestu analizirati, obdelati, preoblikovati podatke v želeno obliko, vse to je mogoče doseči z AWS Data Pipeline.
Potreba po podatkovnem plinovodu
Poskusimo razumeti potrebo po plinovodu s primerom:
Primer # 1
Imamo spletno mesto, ki prikazuje slike in gif na podlagi iskanja uporabnikov ali filtrov. Naš glavni poudarek je na streženju vsebin. Določeni so nekateri cilji, ki so naslednji:
- Izboljšanje dostave vsebine: služijo tisto, kar uporabniki želijo učinkovito in dovolj hitro.
- Učinkovito upravljanje aplikacije: Shranjevanje uporabniških podatkov in dnevnikov spletnih strani za kasnejše analitične namene.
- Izboljšajte poslovanje: Z uporabo shranjenih podatkov in analitike se odločite za izboljšanje poslovanja z nižjimi stroški.
Primer # 2
Za dosego ciljev je treba poskrbeti z določenimi polnilci:
- Ogromna količina podatkov v različnih oblikah in na različnih mestih, zaradi česar je obdelava, shranjevanje in selitev podatkov kompleksna naloga.
Različne komponente za shranjevanje podatkov za različne vrste podatkov:
- Možni podatki v realnem času za registrirane uporabnike: Dynamo DB .
- Dnevniki spletnega strežnika za potencialne uporabnike: Amazon S3 .
- Demografski podatki in poverilnice: Amazon RDS.
- Podatki o senzorjih in nabor podatkov tretjih oseb: Amazon S3.
Rešitve
- Izvedljiva rešitev: Vidimo, da se moramo ukvarjati z različnimi vrstami orodij za pretvorbo podatkov iz nestrukturiranih v strukturirane za analizo. Tu moramo uporabiti različna orodja za shranjevanje podatkov in ponovno pretvoriti, analizirati in shranjevati obdelane podatke. Ni stroškovno učinkovita rešitev.
- Optimalna rešitev: Uporabite podatkovni cevovod, ki obravnava obdelavo, vizualizacijo in migracijo. Cevovod podatkov je lahko koristen pri selitvi podatkov iz različnih krajev, tudi pri analizi podatkov in obdelavi na istem mestu v vašem imenu.
Kaj je podatkovni cevovod AWS?
AWS Data Pipeline je v bistvu spletna storitev, ki jo ponuja Amazon, ki vam pomaga preoblikovati, obdelovati in analizirati podatke na razširljiv in zanesljiv način ter shranjevati obdelane podatke v S3, DynamoDb ali v lokalno bazo podatkov.
- Z AWS Data Pipeline lahko enostavno dostopate do podatkov iz različnih virov.
- Preoblikujte in obdelajte te podatke na lestvici.
- Učinkovito prenesite rezultate na druge storitve, kot so S3, DynamoDb tabela ali lokalna shramba podatkov.
Osnovni primer uporabe podatkovnega plinovoda
- Lahko bi razvili spletno stran prek EC2, ki ustvarja dnevnike vsak dan.
- Preprosta dnevna naloga bi lahko kopirala dnevniške datoteke iz E2 in jih dosegla v vedru S3.
- Tedenska naloga je lahko obdelati podatke in sprožiti analizo podatkov prek Amazon EMR za ustvarjanje tedenskih poročil na podlagi vseh zbranih podatkov.
Zagon analize podatkov z AWS Data Pipeline
- Zbiranje podatkov iz različnih virov podatkov, kot so - S3, Dynamodb, lokalno, senzorski podatki itd.
- Izvedba preoblikovanja, obdelave in analitike na AWS EMR za ustvarjanje tedenskih poročil.
- Tedensko poročilo, shranjeno v Redshift, S3 ali nadomestno bazo podatkov.
Prednosti AWS Data Pipeline
Spodaj točke pojasnjujejo prednosti AWS Data Pipeline:
- Povlecite in spustite konzolo, ki jo je enostavno razumeti in uporabljati.
- Porazdeljena in zanesljiva infrastruktura: Podatkovni vodi potekajo po nadomestljivih storitvah in so zanesljivi, če katera napaka ali naloga ne uspe, se lahko nastavi.
- Podpira načrtovanje in sledenje napak: Naloge lahko načrtujete in jim sledite, kaj je spodletelo in uspelo.
- Porazdeljeno: Lahko se izvaja vzporedno na več strojih ali linearno.
- Popoln nadzor nad računskimi viri, kot so EC2, EMR grozdi.
Sestavni deli podatkovnega cevovoda AWS
Spodaj so sestavni deli podatkovnega cevovoda AWS:
1. Opredelitev cevovoda
Pretvorite svojo poslovno logiko v AWS Data Pipeline.
- Podatkovna vozlišča : Vsebuje ime, lokacijo, obliko vira podatkov (S3, dynamodb, lokalno)
- Dejavnosti : premikanje, preoblikovanje ali izvajanje poizvedb v vaših podatkih.
- Urnik : Načrtujte dnevne ali tedenske dejavnosti.
- Predpogoj : Pogoji, kot je zagon, planer preverja razpoložljivost podatkov pri viru.
- Viri : Izračunajte vire EC2, EMR.
- Ukrepi : Posodobite podatke o plinovodu, pošiljanje obvestil, sprožilec.
2. Cevovodi
Tukaj načrtujete in izvajate naloge za izvajanje določenih dejavnosti.
- Ompone plinovoda C : Sestavni deli cevovoda so enaki komponentam definicije Pipeline.
- Na primer: Med izvajanjem nalog AWS zbere vse komponente, da ustvari določene primerne primere. Takšni primeri imajo vse podatke o določenih nalogah.
- Poskusi: Že smo razpravljali o zanesljivosti podatkovnega plinovoda s svojimi ponovnimi mehanizmi. Tu določite, kolikokrat želite ponovno poskusiti nalogo, če ne uspe.
3. Tekač opravil
Vprašanja ali ankete za naloge iz AWS Data Pipeline in nato te naloge.
AWS Cevovod podatkov
Spodaj v točkah razložite cene cevovodov AWS Data:
1. Brezplačni nivo
Z AWS Data Pipeline lahko začnete brezplačno kot del stopnje brezplačne uporabe AWS. Nove stranke, ki se prijavijo, dobijo vsak mesec nekaj brezplačnih ugodnosti za eno leto:
- 3 Predpogoji nizkofrekvenčnega teka na AWS brez kakršnega koli polnjenja.
- 5 Dejavnosti teka na nizki frekvenci na AWS brez kakršnega koli polnjenja.
2. Nizka frekvenca
Nizka frekvenca naj bi se izvajala enkrat na dan ali manj. Data Pipeline sledi isti strategiji zaračunavanja kot druge spletne storitve AWS, tj. Zaračunane pri vaši uporabi. Šteje se, kako pogosto se vaše naloge, dejavnosti in predpogoji izvajajo vsak dan in kje se izvajajo (AWS ali lokalno). Visokofrekvenčne dejavnosti naj bi potekale več kot enkrat na dan.
Primer: lahko načrtujemo, da se bo dejavnost izvajala vsako uro in obdelovala dnevnike spletnega mesta ali pa bi lahko bila vsakih 12 ur. Ker so nizkofrekvenčne dejavnosti tiste, ki se izvajajo enkrat na dan ali manj, če predpogoji niso izpolnjeni. Neaktivni cevovodi imajo stanje INAKTIVNO, POGOJNO in KONČNO.
3. Cene AWS Data Pipeline prikazane v regiji
1. regija: vzhod ZDA (N.Virginia), ameriški zahod (Oregon), azijsko pacifiški (Sydney), EU (Irska)
| Visoka frekvenca | Nizka frekvenca | |
| Dejavnosti ali predpogoji, ki delujejo nad AWS | 1, 00 USD na mesec | 0, 06 USD na mesec |
| Dejavnosti ali predpogoji, ki se izvajajo v lokalu | 2, 50 USD na mesec | 1, 50 USD na mesec |
| Neaktivni cevovodi: 1, 00 USD na mesec |
2. regija: Azijsko-pacifiški (Tokio)
| Visoka frekvenca | Nizka frekvenca | |
| Dejavnosti ali predpogoji, ki delujejo nad AWS | 0, 9524 USD na mesec | 0, 5715 USD na mesec |
| Dejavnosti ali predpogoji, ki se izvajajo v lokalu | 2.381 USD na mesec | 1.4286 USD na mesec |
| Neaktivni cevovodi: 0, 9524 USD na mesec |
Načrt, da bi vsakodnevno opravilo, tj. Nizkofrekvenčna dejavnost na AWS, za prenos podatkov iz DynamoDB tabele v Amazon S3, stalo 0, 60 USD na mesec. Če za izdelavo poročila, ki temelji na podatkih Amazon S3, dodamo EC2, bi skupni stroški plinovoda znašali 1, 20 USD na mesec. Če bi to dejavnost izvajali vsakih 6 ur, bi to stalo 2, 00 USD na mesec, ker bi bila to visokofrekvenčna aktivnost.
Zaključek
AWS Data Pipeline je zelo priročna rešitev za upravljanje eksponentno rastočih podatkov z nižjimi stroški. Je zelo zanesljiv in prilagodljiv glede na vašo uporabo. Za vsako poslovno potrebo, kjer se ukvarja z veliko količino podatkov, je AWS Data Pipeline zelo dobra izbira za doseganje vseh naših poslovnih ciljev.
Priporočeni članki
To je vodnik po AWS Data Pipeline. Tukaj razpravljamo o potrebah po podatkovnem plinovodu, kaj je podatkovni cevovod AWS, podrobnosti o komponentah in cenah. Obiščite lahko tudi druge naše sorodne članke, če želite izvedeti več -
- AWS EBS
- AWS baze podatkov
- Kaj je AWS EC2?
- Prednosti vizualizacije podatkov
- Najboljših 7 tekmovalcev AWS s funkcijami
- Spoznajte seznam funkcij spletnih storitev Amazon