Razlika med Majhni podatki in veliki podatki
Majhni podatki niso nič drugega kot podatki, ki so dovolj majhni za človeka v obsegu in tudi za oblikovanje, da so dostopni, informativni in uporabni. Tradicionalna obdelava podatkov ne more obravnavati velikih ali zapletenih podatkov, ti podatki se imenujejo kot veliki podatki. Ko obseg podatkov presega določeno mejo, tradicionalni sistemi in metodologije niso dovolj za obdelavo podatkov ali pretvorbo podatkov v uporabno obliko. Zato so podatki na splošno razvrščeni na dva - Small Data vs Big Data
Primerjava med majhnimi in velikimi podatki (Infographics)
Spodaj je zgornjih 10 razlik med majhnimi in velikimi podatki
Ključne razlike med majhnimi podatki in velikimi podatki
- Zbiranje podatkov - Običajno majhni podatki so del sistemov OLTP in se zbirajo na bolj nadzorovan način ter nato vstavljeni v predpomnilni sloj ali bazo podatkov. Baze podatkov bodo prebrale replike za podporo takojšnjim poizvedbam analitike, če bodo potrebne. Cevovod za zbiranje velikih podatkov bo imel čakalne vrste, kot sta AWS Kinesis ali Google Pub / Sub, da uravnoteži podatke o visoki hitrosti. Dolvodno bodo imeli tokovne cevovode za analitiko v realnem času in paketna opravila za hladno obdelavo podatkov.
- Obdelava podatkov - Ker je večina majhnih podatkov, ustvarjenih s transakcijskim sistemom, bo analitika poleg tega večino časa usmerjena v paketne namene. V nekaterih redkih primerih se analitske poizvedbe izvajajo neposredno nad transakcijskimi sistemi. Okolje velikih podatkov bo imelo tako cevovodne kot pretočne cevovode. Tok se uporablja za analitiko v realnem času, na primer odkrivanje goljufij s kreditnimi karticami ali napoved cene delnic. Paketna obdelava, ki se uporablja za izvajanje kompleksne poslovne logike s podatki in naprednimi algoritmi.
- Prilagodljivost - Sistemi majhnih podatkov običajno merijo navpično. Navpično skaliranje povečuje zmogljivost sistema z dodajanjem več virov istemu stroju. Navpično skaliranje je drago, vendar manj kompleksno za upravljanje. Sistemi velikih podatkov so večinoma odvisni od horizontalno skalabilne arhitekture, ki omogoča večjo okretnost in manjše stroške. Navidezni navidezni stroji, ki so na voljo v oblaku, omogočajo horizontalno razširljive sisteme še bolj dostopne.
- Modeliranje podatkov - Majhni podatki, pridobljeni iz transakcijskih sistemov, bodo v normalizirani obliki.ETL (Extract Transform Load) podatkovni cevovodi ga pretvorijo v shemo zvezd ali snežinke v podatkovnem skladišču. Tu se shema vedno uveljavlja med pisanjem podatkov, kar je sorazmerno enostavno, saj so podatki bolj strukturirani. Kot že omenjeno, so tabelarični podatki le del velikih podatkov. Tu se podatki veliko bolj posnemajo iz različnih razlogov, kot je predaja napak ali zaradi nekaterih omejitev mehanizma osnovne baze podatkov (na primer, nekatere baze podatkov podpirajo le en sekundarni indeks na nabor podatkov). Shema se med pisanjem ne uveljavlja. Namesto tega se med branjem podatkov potrdi shema.
- Povezovanje shranjevanja in računanja - V tradicionalnih bazah podatkov, ki večinoma obdelujejo majhne podatke, sta shranjevanje in računalništvo tesno povezana. Vstavljanje in iskanje podatkov v bazo in iz baze podatkov je možno samo prek danega vmesnika. Podatkov ni mogoče vnesti neposredno v datotečni sistem baze podatkov ali obstoječih podatkov ni mogoče poizvedovati z drugimi stroji DB. Pravzaprav ta arhitektura v veliki meri pomaga zagotoviti celovitost podatkov. Sistemi velikih podatkov imajo zelo ohlapno povezavo med shranjevanjem in računanjem. Običajno se podatki shranijo v porazdeljenem sistemu za shranjevanje podatkov, kot so HDFS, AWS S3 ali Google GCS, in izračuna računalnik za poizvedovanje podatkov ali pozneje izbrani ETL. Na primer, interaktivne poizvedbe se lahko izvajajo z uporabo Presto (Link) in ETL z uporabo Apache Hive na istih podatkih.
- Data Science - algoritmi strojnega učenja zahtevajo vhodne podatke v dobro strukturirani in pravilno kodirani obliki, večina vhodnih podatkov pa bo iz obeh transakcijskih sistemov, kot sta podatkovno skladišče in Big Data storage kot jezero podatkov. Algoritmi za strojno učenje, ki delujejo izključno na majhnih podatkih, bodo enostavni, saj je faza priprave podatkov ozka. Priprava in obogatitev podatkov v okolju Big Data potrebuje veliko več časa. Big Data daje veliko možnosti za eksperimentalno eksperimentalno eksperimentiranje zaradi velike količine in raznolikosti podatkov.
- Varnost podatkov - Varnostne prakse za majhne podatke, ki se nahajajo v podjetniškem skladišču podatkov ali transakcijskih sistemih, ki jih nudijo ustrezni ponudniki baz podatkov, ki lahko vključujejo uporabniške privilegije, šifriranje podatkov, šivanje itd. Zaščita velikih podatkovnih sistemov je veliko bolj zapletena in zahtevna. Najboljše varnostne prakse vključujejo šifriranje podatkov v mirovanju in tranzitu, izoliranje grozdnega omrežja, stroga pravila za nadzor dostopa itd.
Primerjalna tabela majhnih podatkov v primerjavi z velikimi podatki
| Osnove primerjave | Majhni podatki | Veliki podatki |
| Opredelitev | Podatki, ki so dovolj majhni za človeško razumevanje. V obsegu in obliki, zaradi katere so dostopni, informativni in uporabni | Nabori podatkov so tako veliki ali zapleteni, da jih tradicionalne aplikacije za obdelavo podatkov ne morejo obravnavati |
| Vir podatkov | ● Podatki iz tradicionalnih poslovnih sistemov, kot so Planning Načrtovanje podjetniških virov Management upravljanje odnosov s strankami (CRM) ● finančni podatki, kot so podatki splošne knjige ● Podatki o plačilnih transakcijah s spletnega mesta | ● Podatki o nakupu na prodajnem mestu ● Klikni podatki s spletnih mest ● Podatki GPS toka - Podatki o mobilnosti, poslani strežniku ● Družbeni mediji - facebook, twitter |
| Zvezek | Večina primerov je v območju več deset ali sto GB. Nekaj primerov nekaj TB (1 TB = 1000 GB) | Več kot nekaj terabajtov (TB) |
| Hitrost (hitrost prikazovanja podatkov) | ● Nadzorovan in enakomeren pretok podatkov ● Nabiranje podatkov je počasno | ● Podatki lahko prihajajo z zelo hitro hitrostjo. ● Ogromno podatkov se lahko nabere v zelo kratkem času |
| Raznolikost | Strukturirani podatki v tabeli s fiksno shemo in polstrukturiranimi podatki v JSON ali XML formatu | Nabori podatkov velike raznolikosti, ki vključujejo tabelarne podatke, besedilne datoteke, slike, video, zvok, XML, JSON, dnevnike, podatke senzorjev itd. |
| Verodostojnost (kakovost podatkov) | Vsebuje manj hrupa kot podatki, zbrani na kontroliran način. | Običajno kakovost podatkov ni zagotovljena. Pred obdelavo je potrebno natančno preverjanje podatkov. |
| Vrednost | Poslovna inteligenca, analiza in poročanje | Zapleteno iskanje podatkov za napovedovanje, priporočilo, iskanje vzorcev itd. |
| Časovno odstopanje | Zgodovinski podatki enako veljavni kot podatki predstavljajo trdno poslovno interakcijo | V nekaterih primerih se podatki kmalu starajo (npr. Odkrivanje goljufij). |
| Lokacija podatkov | Baze podatkov v podjetju, lokalni strežniki itd. | Večinoma v porazdeljenih pomnilnikih v oblaku ali v zunanjih datotečnih sistemih. |
| Infrastruktura | Predvidljiva razporeditev sredstev. Največ vertikalno razširljiva strojna oprema | Bolj okretna infrastruktura z vodoravno prilagodljivo arhitekturo. Obremenitev v sistemu se zelo razlikuje. |
Zaključek - Majhni podatki v primerjavi z velikimi podatki
Končni cilj analize podatkov je pravočasen vpogled v podporo odločanju. Razvrščanje podatkov v Majhne in Velike pomaga pri reševanju izzivov pri analizi podatkov vsakega sveta posebej s primernimi orodji. Vrstica med dvema kategorijama se razlikuje od nastajajočih naprednih sistemov za obdelavo podatkov, zaradi česar so celo velika poizvedba po podatkih veliko hitrejša in manj zapletena.
Priporočeni članki:
To je vodnik za majhne podatke v primerjavi z velikimi podatki, njihov pomen, primerjava med glavo, ključnimi razlikami, primerjalno tabelo in sklep. ta članek vključuje vse pomembne razlike med majhnimi in velikimi podatki. Če želite izvedeti več, si oglejte tudi naslednje članke -
- Big Data vs Data Science - kako se razlikujejo?
- Veliki podatki: Pomembno sotočje tehnološke in poslovne analitike
- Top 5 velikih podatkovnih trendov, ki jih bodo morala podjetja obvladati
- 16 zanimivih nasvetov za pretvorbo velikih podatkov v velik uspeh