Tehnike velikih podatkov: Sotočje tehnologije in poslovne analitike
Sotočje tehnološke in poslovne analitike -
Moški so že davno vodili nomadsko življenje, preden so se postopoma usmerili v kmetijstvo. Izum kolesnega, požarnega in parnega motorja se pogosto šteje za prelomnice v razvoju človeštva do mehanizacije in večje življenjske ugodnosti.
Prav tako so legendarni Newtonov zakon gibanja in gravitacije, Einsteinova teorija relativnosti, ki danes praznuje 100. leto, ali zakon termodinamike vse revolucionarne znanosti in vplivale na uporabno znanost. Izum računalnika, prihod osebnega računalnika in grafični uporabniški vmesnik (GUI) so mejniki razvoja v digitalni dobi. V ospredju jezikov na ravni montaže so bila binarna števila ničle in enaka.
Binarne do velike podatkovne tehnike
Na ravni strojne opreme ničle in ena napajajo vezja v računalniku, na poslovni ravni pa tehnike Big Data spreminjajo morske spremembe v tem, kako podjetja oblikujejo marketinške strategije, da bi ostala konkurenčna. Lahko bi ga sestavljali karkoli iz enomestnih ali večštevilčnih številk, vse, ki vsebujejo ključne podatke o trgu, delovanju stroja, človeškega telesa, transakcijah e-trgovine ali pa o kakršnih koli vsakodnevnih dejavnostih, ki imajo ali ne smejo imeti ničesar opraviti z nakupom ali prodajo.
Običajno se podjetja in računovodski delavci pogovarjajo o sredstvih in obveznostih. Navadno sredstva označujejo stroje, tehnologijo, znanje in izkušnje, človeške vire, infrastrukturo in tudi finančna sredstva.
Zdaj se dogaja premik paradigme, skupaj s temi oprijemljivimi sredstvi pa so nekateri deli eno- ali večštevilčnih številk ali podatkov postali najbolj neprecenljivo sredstvo, ko se organizacije in trgi povečujejo. Z vidika trženjske strategije in strategije velikih podatkov so podatki postali najpomembnejše sredstvo.
Podjetja rastejo v velikosti in obsegu. Ni več majhna lepa ali sposobna preživeti. Operacije v več državah, veliki trgovski centri in velika podjetja za e-trgovino so postavili nov trend po vsem svetu. Za uspeh v tem velikem podjetju so podatki in analiza podatkov postali kritični. Podjetja si prizadevajo za velik podatkov Hadoop, ki ga uporabljajo, da pridobijo tržno inteligenco in razumejo zahteve strank.
Sotočje tehnologije in analize podatkov
Vir slike: pixabay.com
Velike podatkovne tehnike, ki jih imajo organizacije, bodo nesmiselne, razen če obstaja podporna tehnologija za pridobivanje podatkov, obdelavo in organiziranje za podjetja, da izkoristijo to ključno prednost. Bernard Marr, priznani pisatelj in analitik, je dejal, da bodo podjetja, ne glede na njihovo velikost, naj bo to podjetje Fortune 500 ali majhna trgovina za mame in pop, uporabila Hadoop Big Data, in pričajo o spremembah, ki jih prinašajo podjetja.
Velike podatkovne tehnike so zbirka velikih naborov podatkov in v velikem številu so potrebni zapleteni programi za analizo in ustvarjanje pomembnih informacij iz njih. To bi lahko bile navade pri nakupu, pogostost obiskovanja filmov, pogostost spletnih strani, spletni nakup, naročanje živil, pogostost menjave mobilnih telefonov in tako naprej.
Za analizo velikih naborov podatkov se uporabljajo različna orodja, okviri in tehnike, industrija pa jih je veliko iskala. Po mnenju strokovnjakov niso pomembni podatki, ampak tisto, kar podjetje počne s temi podatki.
Med različnimi tehnologijami in platformami je Hadoop postal najbolj priljubljen, čeprav ima svoje pomanjkljivosti. To je odprtokodna razvojna platforma, ki je napisana na C, C ++, Java in pomaga organizacijam analizirati ogromno količino podatkov v realnem času.
Velike podatkovne tehnike v realnem času
Zbiranje, shranjevanje, premikanje in analiziranje ni statična aktivnost, ampak tudi dinamična, ki vključuje okolja v realnem času. Podatki se nenehno zbirajo za letala, avtomobilske motorje, monitorje, povezane s pacienti v bolnišnicah, spletne transakcije s kreditnimi ali debetnimi karticami, za katere so potrebni izpopolnjeni algoritmi, programi, velika arhitektura podatkov in močna sposobnost obdelave pomnilnika.
John Schroeder, izvršni direktor MapR, je dejal, da imajo aplikacije Big Data, ki ščitijo milijone imetnikov kartic American Express pred goljufivimi transakcijami, v zdravstvu pa si prizadevajo za izboljšanje postopkov zdravljenja bolnikov z rakom.
Svetovne IT-materije, kot so Microsoft, Oracle, SAP, IBM, so na oblačni platformi in omogočajo tudi rešitve za velike podatkovne tehnike.
Tehnike velikih podatkov in internet stvari
Hitre spremembe v spletu in vgrajeni tehnologiji so omogočile medsebojno povezavo številnih naprav, ki lahko pošiljajo podatke v realnem času. Pojavil se je internet, sestavljen iz „stvari“, ne pa ljudi in računalnikov.
Vsak kos naprave, ki ga nosimo ali uporabljamo, lahko konča podatke, ki bi med drugim imeli široko uporabo v trženju velikih podatkov, oblikovanju, zdravstvu.
Data Mining
Zdaj so zmogljivi superračunalniki nameščeni za pridobivanje podatkov iz relacijskih baz podatkov in pomagajo statistikom in analitikom pri ustvarjanju modelov. Več inovatorjev je pripravilo orodja za razvoj modelov za napovedno analizo velikih podatkov za boljše odločanje podjetij. Zagotavljajo tudi preprost grafični uporabniški vmesnik (GUI) in je zelo uporabniku prijazen.
Kariera v tehniki Big Data
Seveda je revolucija v tehniki velikih podatkov sprožila povsem novo vrsto strokovnjakov, ki so povezana s specifičnimi področji te velike analitike in tehnologije. Med tehnološkimi veščinami, ki so vroče povpraševane, so Apache Hadoop, Apache Spark, NoSQL, strojno učenje in rudarjenje podatkov, statistična in kvantitativna analiza, SQL, vizualizacija podatkov, podatkovni strokovnjaki, splošno jezikovno znanje programiranja. Po mnenju analitikov se bodo priložnosti povečale v naslednjem desetletju zaradi hitrega razvoja na tem področju.
Leta 2015 je resnično bilo veliko povpraševanja po strokovnem znanju v zvezi s tehnikami podatkov, IBM pa je v zadnjih dvanajstih mesecih v zadnjih dvanajstih mesecih objavil 2.307 pozicij, poroča revija Forbes v sredini leta. Oglašena plača za tehnične strokovnjake z usposabljanjem Big Data znaša 104.850 USD. Najbolj iskane veščine so bile strokovno znanje in izkušnje VMWare, razvoj aplikacij, odprtokodna tehnologija, shranjevanje podatkov in veščine programiranja Python.
Industrijski pametni vodilni ponudniki tehnik in storitev velikih podatkov so profesionalne, znanstvene in tehnične storitve, ki predstavljajo 25% povpraševanja. Med drugimi vodilnimi kategorijami informacijske tehnologije predstavljajo 17%, predelovalne dejavnosti 15%, finance in zavarovalništvo 9%, trgovina na drobno pa 8%.
Prednosti analitike velikih podatkov
1) Shranjevanje, rudarjenje in analiza podatkov:
Velike podatkovne tehnologije so omogočile uporabo shranjenih in sprotnih podatkov za različne poslovne in kritične aplikacije
2) Tržno napovedovanje in napovedovanje:
V obdobju pred velikimi tehnikami podatkov so bila podjetja omejena, da bi v resničnem času opravila smiselno analizo podatkov ali v odsotnosti tehnologije delala napovedno analizo. Vzorčne raziskave in povratne informacije kupcev so ponudile edino rešitev za stratege, ki so lahko novost na trgu ponudili z novimi ponudbami.
3) Podjetja pridobivajo veliko količino podatkov, v preteklih letih pa je bilo premalo orodij za velike podatke, da bi jih zbralo in analiziralo, podjetja niso uporabljala pomembnih sredstev pri njih.
4) V poslovnem okolju velikih podatkov v realnem času lahko taksiranje in kraja podatkov kritično vplivata na delovanje organizacije, zaupanje njenih strank in jo naredijo ranljive za nadaljnje napade. Veliko podatkov in Hadoop dokazano pomagata organizacijam zaznati krajo podatkov. Metodologije kraje podatkov se razvijajo hitreje kot metode proti kraji ali preventivne dejavnosti.
Je tehnika velikih podatkov edina zahteva za uspeh
Hype, ustvarjen z velikimi podatki, ni uspel dobro kritikom nekaterih kritikov, ki opozarjajo na nekatere težave, povezane z njegovo uvedbo v industriji. Nekateri analitiki so podvomili, ali obstaja pozitiven donos naložbe (ROI) in ali je sploh vredno in truda, potrebnega za njegovo izvajanje. Drugi je v zvezi z veliko količino podatkov in analiz, ki morda ne pojasnjujejo "zakaj" takšnega vedenja potrošnikov.
Analizo velikih podatkov je mogoče učinkovito uporabiti v povezavi s tradicionalnimi metodologijami raziskovanja (debeli podatki), ki preslikajo demografske vzorce pri varčevanju, naložbah, nakupu in porabi v regijah, kar daje širše razumevanje trga. Velika skenirana orodja lahko prikazujejo, kaj se je zgodilo in kako, vendar "zakaj" se to zgodi, je mogoče razumeti le s širokim razumevanjem določenih potrošnikov ali regije, ki temelji na demografskem profilu, življenjskih navadah, potrošniških navadah. Podatkovna orodja.
Glavni trendi v tehnologiji Big Data
Po besedah Johna Schroederja, izvršnega direktorja in soustanovitelja MapR-a, podjetja, ki ponuja rešitve za Big Data, so predvideli nastajajoče trende za leto 2015 in večina se jih je zdela resnična.
Data vozlišča za podatkovna jezera: Zdi se, da so podatkovna jezera s prilagodljivo infrastrukturo ugodna, saj so ekonomsko privlačna z zmanjšanimi stroški na terabajt).
Samopostrežna orodja: Orodja za velike podatke za samooskrbo bodo olajšala razvijalce, znanstvenike in analitike podatkov za neposredno raziskovanje podatkov.
Agilnost podatkov
Ko se baza podatkov širi in je potrebna hitrejša obdelava, se zdi, da zapuščeni sistemi proces upočasnjujejo. Za starejše baze in skladišča je bilo ugotovljeno, da so prepočasne, zato organizacije preučujejo, kako hitro je njihovo obdelavo podatkov.
Hadoop v fazi inovacij: Hadoop ostaja v fazi inovacij in Shroeder verjame, da bo morda prišlo do bolj nujnega modela odprtokodne programske opreme v kombinaciji z globokimi inovacijami in razvojem skupnosti.
Varnostni izziv
Shranjevanje in obdelava velikih podatkov zdaj postaja vse bolj izpostavljena varnostnim grožnjam v odprtokodnem sistemu Hadoop. Vendar se varnostne funkcije še vedno ujemajo s takšnimi grožnjami, zlasti v primerjavi z bolj varnimi sistemi za načrtovanje podjetniških virov (ERP) in relacijskimi bazami podatkov.
Računalništvo v oblaku
Hiter napredek na področju računalništva v oblaku omogoča tudi malim in srednje velikim podjetjem, da uporabljajo SaaS (programsko opremo kot storitev), platformo kot storitev (PaaS) in druge platforme ponudnikov, ki jim omogočajo uporabo velikih podatkovnih storitev na veliko cenejših cenah stroški, pri čemer drage pristojbine za licenciranje in naprave niso potrebne.
Po besedah priznanega avtorja in analitika Bernarda Marrja se v oblakovnem prostoru prek SaaS uvajajo sofisticirani algoritmi, kar omogoča natančnejšo predstavo o tem, kdaj, kako in zakaj se izdelek prodaja. Kot navaja Charlie Crocker iz podjetja AutoDesk, poudarja, da je bila do prihoda povratnih informacij odjemalcev Big Data težka vaja, toda s prefinjenimi algoritmi, ki so zdaj na delu, velika podjetja s podatki lažje razumejo vedenje potrošnikov in ustvarijo izdelke zanje.
Prihodnost orodij Big Data je svetla
International Data Corp napoveduje, da bo trg z velikimi podatki naraščal s skupno 23-odstotno letno stopnjo rasti, letna poraba pa bo v letu 2019 dosegla 48, 6 milijarde dolarjev. IDC verjame, da se bodo v naslednjih petih tri podmarketi: infrastruktura, programska oprema in storitve znatno povečali. let, s programsko opremo za upravljanje informacij, odkrivanje in analitiko ter aplikacijsko programsko opremo vodijo naboj s 26-odstotnim CAGR.
IDC napoveduje, da bodo storitve, vključno s strokovnimi in podpornimi storitvami za infrastrukturo in programsko opremo, rasle pri 22, 7 odstotka CAGR. Napoveduje, da bo infrastruktura - sestavljena iz računalništva, omrežij, infrastrukture za shranjevanje podatkov in drugih podatkovnih centrov, kot je varnost, podobna varnosti - rasla pri 21, 7 odstotka CAGR in bo do leta 2019 predstavljala približno polovico vseh porab.
"Sposobnost uporabe velikih podatkov in analitike za razvoj celostnega pogleda na dejavnosti strank in poslovno poslovanje bo podjetjem v panogah zagotovila konkurenčno razliko, " je pred kratkim povedala Jessica, Goepfert, programska direktorica IDC-jeve Globalne organizacije za raziskave tehnologije in industrije. „Vendar veliki podatki poleg ogromnih priložnosti predstavljajo pomembna tveganja in
Digitalna transformacija (DX) bo v naslednjih nekaj letih vodila "vse, kar je pomembno v IT". Uspeh v tem, kar IDC imenuje ekonomija DX, pomeni uporabo tehnologij, kot so mobilna, oblačna, orodja za analizo velikih podatkov, IoT, AI in robotika, da "ustvarijo konkurenčno prednost z novimi ponudbami, novimi poslovnimi modeli in novimi odnosi s strankami, dobavitelji in distributerji, "Pravi Frank Gens, glavni analitik IDC.
Ključni odmiki od napovedi IDC-ja
- Do leta 2020 bo skoraj 50% proračunov za IT vezano v pobude DX (digitalna transformacija).
- Do leta 2018 bodo vodje Line Business (LOB) nadzirali 45% + vseh IT izdatkov po vsem svetu, v ZDA več kot 60%.
- Do leta 2017 bo več kot 50% porabe za IT namenjeno novim tehnologijam (mobilne naprave, oblaki, velika podatkovna orodja itd.).
- Nekateri strokovnjaki so celo pri hitro razvijajočih se tehnologijah in platformah dvomljivi, če bi analizirali vse razpoložljive podatke in jih ne bi potrebovali. Pomembno je, ali se ustrezni podatki identificirajo in analizirajo v korist zainteresiranih strani.
Priporočeni članki
Tu je nekaj člankov, ki vam bodo pomagali do podrobnosti o velikih podatkovnih tehnikah, zato samo pojdite po povezavi.
- 8 Najkoristnejši vodnik za vprašanja o intervjuju z Big Data
- Zakaj je inovacija najbolj kritičen vidik velikih podatkov?
- Top 5 trendov velikih podatkov, ki jih bodo morala podjetja obvladati
- Kaj so NOSQL spretnosti pomoč pri izgradnji velike kariere podatkov
- Vodnik po uvodu v podatkovno rudarjenje