Razlika med znanjem o podatkih in strojnim učenjem
Podatkovna znanost je evolucijsko razširjena statistika, ki se lahko spoprijema z ogromnimi količinami s pomočjo računalniških tehnologij. Strojno učenje je področje študija, ki računalnikom omogoča učenje, ne da bi bilo izrecno programirano. Podatkovna znanost zajema širok spekter podatkovnih tehnologij, vključno s SQL, Python, R in Hadoop, Spark itd. Strojno učenje je proces, ki ga lahko opredelimo kot postopek, s katerim lahko računalnik bolj natančno deluje, saj zbira in se uči iz podatkov, ki jih je navedel.
Primerjava podatkov o znanosti o podatkih v primerjavi s strojnim učenjem (Infographics)
Spodaj je zgornjih 5 primerjav med Data Science in strojnim učenjem
Ključna razlika med podatkovnim znanjem in strojnim učenjem
Spodaj je razlika med Data Science in Strojnim učenjem naslednja
- Komponente - Kot smo že omenili, sistemi Data Science pokrivajo celoten življenjski cikel podatkov in imajo običajno komponente, ki pokrivajo naslednje:
- Zbiranje in profiliranje podatkov - cevovodi ETL (Extract Transform Load) in delovna mesta za profiliranje
- Distribuirano računalništvo - Horizontalno razširljiva distribucija in obdelava podatkov
- Avtomatizacija inteligence - avtomatizirani modeli ML za spletne odzive (napoved, priporočila) in odkrivanje prevar.
- Vizualizacija podatkov - Vizualno raziščite podatke za boljšo intuicijo podatkov. Sestavni del modeliranja ML.
- Nadzorne plošče in BI - vnaprej določene nadzorne plošče z zmogljivostmi rezin in kock za zainteresirane strani na višji ravni.
- Podatkovni inženiring - Zagotavljanje, da so podatki vročih in hladnih vedno dostopni. Zajema varnostno kopiranje podatkov, varnost, obnovo po nesrečah
- Uvajanje v proizvodni način - sistem migracije v proizvodnjo s standardnimi industrijskimi praksami.
- Samodejne odločitve - to vključuje vodenje poslovne logike na podlagi podatkov ali zapleten matematični model, usposobljen z uporabo katerega koli algoritma ML.
Modeliranje strojnega učenja se začne s podatki, ki obstajajo, značilne komponente pa so:
- Razumevanje težave - Zagotovite, da je učinkovit način za rešitev težave ML. Upoštevajte, da niso vsi problemi rešljivi z uporabo ML.
- Raziščite podatke - Če želite razumeti funkcije, ki jih je mogoče uporabiti v modelu ML. Za to bo morda potrebna več kot ena iteracija. Vizualizacija podatkov ima tukaj ključno vlogo.
- Pripravite podatke - To je pomembna faza z velikim vplivom na natančnost modela ML. Obravnava vprašanje podatkov, na primer, kaj storiti z manjkajočimi podatki za funkcijo? Nadomestite z navidezno vrednostjo, kot je nič, ali srednjo vrednostjo drugih vrednosti ali spustite funkcijo iz modela ?. Pri številnih modelih ML je bistvenega pomena značilnost skaliranja, ki zagotavlja, da so vrednosti vseh funkcij zelo pomembne. Za pridobivanje novih funkcij se tukaj uporablja tudi veliko drugih tehnik, kot je generiranje polinomskih funkcij.
- Izberite model in vlak - model je izbran glede na vrsto težave (napoved ali klasifikacija itd.) In vrsto nabora funkcij (nekateri algoritmi delujejo z majhnim številom primerkov z velikim številom funkcij, nekateri pa v drugih primerih) .
- Ukrep uspešnosti - V storitvi Data Science ukrepi učinkovitosti niso standardizirani, temveč se bodo spreminjali od primera do primera. Tipično bo to pokazalo pravočasnost podatkov, kakovost podatkov, možnost poizvedovanja, omejitve sočasnosti dostopa do podatkov, sposobnost interaktivne vizualizacije itd.
V ML modelih so merila uspešnosti kristalno jasna. Vsak algoritem bo imel merilo, ki kaže, kako dobro ali slabo model opisuje dane podatke o vadbi. Na primer, RME (Root Mean kvadrat Error) se uporablja v linearni regresiji kot pokazatelj napaka v modelu.
- Razvojna metodologija - Projekti Data Science so bolj usklajeni kot inženirski projekt z jasno opredeljenimi mejniki. Toda ML projekti so bolj raziskovalni, ki se začnejo s hipotezo in poskušajo dokazati z razpoložljivimi podatki.
- Vizualizacija - Vizualizacija v splošnem Data Science predstavlja podatke neposredno z uporabo poljubnih priljubljenih grafov, kot so bar, pita itd. Toda v ML uporabljajo uporabljene vizualizacije tudi matematični model podatkov o vadbi. Na primer, vizualizacija matrike zmede klasifikacije v več stopnjah pomaga hitro prepoznati napačne pozitivnosti in negativnosti.
- Jeziki - SQL in SQL podobni sintaksovi jeziki (HiveQL, Spark SQL itd.) So najbolj uporabljani jezik v svetu Data Science. Uporabljajo se tudi priljubljeni skriptni jeziki za obdelavo podatkov, kot so Perl, awk, sed. Drugi dobro podprti jeziki so še posebej podprti široko uporabljena kategorija (Java za Hadoop, Scala for Spark itd.)
Python in R sta najpogosteje uporabljena jezika v svetu strojnega učenja. Dandanes Python dobiva vse večjo veljavo, saj se novi raziskovalci globokega učenja večinoma pretvorijo v python.SQL ima pomembno vlogo tudi v fazi raziskovanja podatkov ML
Primerjalna tabela Data Science vs Strojno učenje
| Osnove primerjave | Data Science | Strojno učenje |
| Obseg | Ustvarite vpogled iz podatkov, ki se ukvarjajo z vsemi kompleksnostmi v resničnem svetu. To vključuje naloge, kot so razumevanje zahteve, pridobivanje podatkov itd. | Natančno razvrstite ali napovedajte rezultat za novo podatkovno točko z učenjem vzorcev iz preteklih podatkov z uporabo matematičnih modelov. |
| Vhodni podatki | Večina vhodnih podatkov se ustvari kot potrošni material, ki ga človek bere ali analizira, kot so tabelarični podatki ali slike. | Vhodni podatki za ML se pretvorijo posebej za uporabljene algoritme. Nekaj primerov je skaliranje funkcij, vstavljanje besed ali dodajanje polinomskih funkcij |
| Zapletenost sistema | ● Komponente za obdelavo nestrukturiranih neobdelanih podatkov, ki prihajajo.
● Veliko komponent premikanja, ki jih običajno načrtuje orkestracijski sloj za sinhronizacijo neodvisnih opravil | ● Večja zapletenost je v tem algoritmih in matematičnih konceptih
● Ansambelski modeli bodo imeli več kot en model ML in vsak bo imel tehtani prispevek pri končni proizvodnji |
| Prednostni nabor spretnosti | ● Strokovno znanje
● ETL in profiliranje podatkov ● Močan SQL ● NoSQL sistemi ● Standardno poročanje / vizualizacija | ● Močno razumevanje matematike
● Programiranje Python / R ● Podatki se pretakajo s SQL ● Vizualizacija, značilna za model |
| Specifikacija strojne opreme | ● Horizontalno razširljivi sistemi raje ravnajo z množičnimi podatki
● Visoka ram in SSD diski, ki se uporabljajo za premagovanje ozkega grla I / O | ● GPU-ji so prednostni za intenzivne vektorske operacije
● Na poti so zmogljivejše različice, kot so TPU (povezava) |
Zaključek - Data Science vs Strojno učenje
Tako s področja znanosti o podatkih kot tudi s strojnim učenjem skušamo iz podatkov pridobiti informacije in vpoglede. Strojno učenje se trudi, da se algoritmi učijo sami. Trenutno se za Data Science uporabljajo napredni modeli ML za samodejno zaznavanje in profiliranje podatkov. Najboljši primer za to je Googlov Cloud Dataprep.
Priporočen članek:
To je vodnik za Data Science vs Machine Learning, njihov pomen, primerjava med seboj, ključne razlike, tabela primerjave in sklep. Če želite izvedeti več, si oglejte tudi naslednje članke -
- Vprašanja za razvijalca Hadoop
- Big Data vs Data Science - kako se razlikujejo?
- Podatkovna znanost in njen vse večji pomen
- Statistika vs Strojno učenje - razlike med
- Kako razbiti Hadoopov razvijalski intervju?