/
andmeteadus.qmd
95 lines (63 loc) · 11.3 KB
/
andmeteadus.qmd
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
# Andmed ja andmeteadus {#sec-andmeteadus}
## Andmed on abstraktsioon
Andmed on teave mingi nähtuse kohta enamasti lihtsustatud kujul. Andmed on tegelikkuse lihtsustus (abstraktsioon), mille aluseks on andmete koguja poolt tehtud otsused ja valikud. Seetõttu ei ole andmed kunagi objektiivsed, vaid alati kallutatud ja erapoolikud [@kelleher18data]. See erapoolikus sõltub sellest, mille alusel ja kuidas mingit nähtust on mõõdetud (operatsionaliseeritud). Andmete kallutatust saab esitada täpsuse ja usaldusväärsuse alusel.
**Täpsus** (*validity*) kirjeldab andmete õigsust või kehtivust. Täpselt mõõdetud andmed näitavad täpselt seda, mida soovime, ega ole kallutatud^[Nt korruptsiooni mõõdetakse selle alusel, mil määral inimesed seda tajuvad. See ei ole täpne, sest ei näita tegelikku korruptsiooni.]. Nii sõltub andmete täpsus eelkõige sellest, mis üldist nähtust mõõdetakse.
**Usaldusväärsus** (*reliability*) kirjeldab andmete hajuvust. Usaldusväärselt mõõdetud andmed annavad igal kordusmõõtmisel sama tulemuse. Kui füüsikaliste mõõtmiste korral sõltub usaldusväärsus ka mõõtmisvahendist, siis sotsiaalteadustes on see seotud eelkõige mõõdetavate nähtuste ja mõõtmise ajaga^[Nt mõõtes suhtumist toidu ohutusse, siis ei saa me teha usaldusväärseid üldistusi, kui uurime uudistega rohkem kursis olevaid isikuid ja küsitleme ajal, kui meedias kajastatakse palju mõnda toidumürgituse juhtumit.]. Usaldusväärsus oleneb mõõtmise viisist ja sellest, keda või mida konkreetselt mõõdetakse.
:::{.callout-warning}
Andmete täpsust ja usaldusväärsust on oluline silmas pidada andmeanalüüsi tulemuste tõlgendamisel.
:::
Mingi konkreetse andmekogumi iseloomustamiseks on kaks peamist viisi. Andmeteaduses eristatakse andmeid enamasti praktilises mõttes andmete vormi alusel. Nii võib andmik olla kas
- **korrastatud** (*structured*) korrektselt vormistatud andmetabel,
- **korrastamata** (*unstructured*) piltide, dokumentide, videote vms kujul või
- **poolkorrastatud** (*semistructured*), kui andmeväljad ei ole esitatud tabelina, aga neid saab üksteisega seostada.
Selleks et andmeid analüüsida on enamasti siiski vajalik need korrastatud andmetabeliks vormistada.
Teoreetilisemas mõttes eristatakse andmike nende päritolu alusel:
- **primaarandmed** on kogutud konkreetse analüüsi jaoks,
- **sekundaarandmed** aga mingil muul eesmärgil.
Kui andmed on kogutud konkreetse analüüsi jaoks, siis on need suurema tõenäosusega täpsed ja usaldusväärsed.
Andmetega seotud toimingud saab kokku võtta nelja A abil [@saltz17introduction]:
* arhitektuur (*architecture*),
* ammutamine (*acquisition*),
* analüüs (*analysis*),
* arhiveerimine (*archiving*).
<!--
[[Data]]
[[Reliability and validity]]
[[Data structures]]
-->
## Andmeteadus ei ole teadus
Mõistet "andmeteadus" hakati kasutama 1990. aastatel [@kelleher18data]. Väga suurte korrastamata andmike ilmumine ja arvutitehnika areng tähendas, et andmete analüüsimiseks arvutitel tuli kuidagi tuua sisse statistilistele meetoditele omane rangus. Suurte andmike uurimisel arvutitel ei piisanud enam ainult programmeerimise oskusest, vaid vaja oli ka teadmisi andmete ja statistika kohta.
Seega võibki andmeteaduseks pidada statistiliste ja arvutitel põhinevate tehnikate rakendamist selleks, et saada parem arusaam mingist konkreetsest andmikust. Sealjuures ei pruugi need andmikud olla tavapärased andmetabelid, vaid on sageli korrastamata andmed. Kuna igasuguses vormis andmeid on võimalik teisendada numbriteks, saavad andmeteadustes kasutatavad protseduurid hakkama ka mahukate korrastamata andmikega ^[Korrastamata suurandmed on nt veebilehtede külastatavus, sotsiaalmeedia postitused, erinevate sensorite poolt kogutud teave.]. Otsitav arusaam nende andmete kohta võib seisneda nt mustrite, klastrite või erindite tuvastamises. Kuna andmeteaduses ühendatakse matemaatilised tehnikad ja klassikalised statistilised meetodid nende rakendamisega arvutitel, siis võib andmeteadustes kasutatavaid protseduure nimetada algoritmideks.
Need algoritmid käsitlevad osa andmetest sisenditena ja teist osa väljunditena. Nende kahe vaheliste seoste alusel tuvastavad algoritmid (varjatud) mustreid, mida sageli klassikaliste statistiliste meetoditega ei ole võimalik leida. Praktilistes andmeteaduse rakendustes on nende algoritmide lõppeesmärk siiski prognoosida sisendite alusel kõige sobivam väljund selliste andmeväljade kohta, mille puhul see väljund teada ei ole ^[Algoritmide abil saame prognoosida nt laenusaajate tõenäosuse laen tagasi maksta (väljund) teades nende sotsiaal-majanduslikke näitajaid (sisendid).].
:::{.callout-important}
Andmeteadus on statistiliste ja arvutitel põhinevate tehnikate rakendamine andmikest mustrite tuvastamiseks ja nende alusel prognooside tegemiseks.
:::
Enamus katseid andmeteadust mõtestada teevad seda mitme nähtuse kaudu [@spiegelhalter19art; @kelleher18data; @taddy19business; @pinheiro21introduction]: klassikaline statistika, algoritmid, suurandmed, masinõpe, andmekaeve, andmehaldus ja andmebaasid, erialateadmised, andmete kasutamise eetika. Väga laias mõttes võibki andmeteaduseks pidada kõike, mis on mingilgi viisil andmetega seotud. Nii on kirjeldatud andmeteadust ka tegevuste kaudu, hõlmates andmekogumist, andmete haldamist ja korrastamist, analüüsimist ja tõlgendamist [@cetinkaya-rundel21fresh; @kelleher18data]. Selline väga lai lähenemine võib olla ka põhjuseks, miks arvatakse, et andmeteadus on ületähtsustatud [@taddy19business]: mõistet on kasutatud viitamaks ka tegevustele, mis tegelikult ei hõlma andmeteadust. On tavapärane, et ennast andmeteadlaseks nimetavatel inimestel puudub vastav hariduslik ettevalmistus ja teadustöö kogemus.
Nii võib väita, et suur osa sellest, mida nimetatatakse andmeteaduseks on pigem andmeanalüüs ja sellega tegelevad inimesed mitte teadlased, vaid analüütikud. Ka mõiste "andmeteadus" kasutusele võtmisel ei olnud rõhuasetus teadustööl^[Mõiste esimesi kasutusi põhjendati nii: "Data Science is likely the remaining good name reserved for us" [@wu97statistics].]. Seega kui peame teaduseks uue teadmise loomist tavapärase teadustöö mõistes, siis ei ole andmeteaduse rakendamine iseenesest teadus ega teaduslik, vaid pigem praktiline andmeanalüüs arvutitel.
<!--
[[Data science]]
[[Data science is not science]]
[[History of statistics and data science]]
-->
## Andmeteadus või statistika?
Andmete analüüsimisel võivad olla väga erinevad eesmärgid, sageli isegi mitu korraga. Selleks võib olla mõne nähtuse kirjeldamine, üldistamine, prognoosimine või juhtimine (*description, inference, prediction, prescription*). Traditsiooniliselt on klassikalise statistika arenguloos olnud peamine tähelepanu sellel, kuidas kõige täpsemini teha mingi valimi alusel üldistusi kogumi kohta. Arengud andmeteaduses ja eelkõige masinõppes on olnud samas aga suunatud sellele, kuidas kõige täpsemini mingit tulemust prognoosida, jättes kõrvale üldistamise ja kõik muud kaalutlused.
Nii on andmeteaduses sageli rakendava masinõppe korral mudel enamasti nö must kast, mille alusel ei ole võimalik tuvastada, kuidas mingi konkreetse prognoosini jõuti. Enamuse statistika meetodite puhul on selle mudeli tõlgendamine aga just peamine eesmärk. Seega, kui andmeteadustes on rõhuasetus suurima võimaliku prognoosi täpsuse saavutamisel, siis statistikas on oluline koostada täpne ja püsiv mudel, mis rahuldaks kõik teoreetilised eeldused ja pakuks seeläbi kõige mõistlikuma selgituse tunnuste vahelistele seostele. Nii põhineb suur enamus teadustööst statistika meetoditel, samas kui praktilisemates rakendustes (nt tehnoloogias ja ärinduses) vajatakse pigem andmeteaduse poolt pakutavaid prognoose.
:::{.callout-important}
Statistilisi meetodeid kasutatakse enamasti tunnuste vaheliste seoste selgitamiseks ja selle käigus ka valimi alusel kogumi kohta üldistuste tegemiseks. Andmeteadustes rakendatava masinõppe eesmärk on aga eelkõige võimalikult täpsete prognooside tegemine.
:::
Kui statistilisi meetodeid kasutades on enamasti oluline teha valimi alusel järeldusi kogumi kohta, siis andmeteadustes ei pöörata kogumile tähelepanu ja sageli eeldatakse vaikimisi, et olemas olev valim on kogumi suhtes esinduslik. Seetõttu keskendub statistika andmete kirjeldamisele teoreetilistele jaotuste kaudu, samas kui andmeteadustes kasutatakse üldistuste tegemiseks taasvalikut (*resampling*). See on siiski pigem üldistus ja tegelikkuses kasutatakse mõlemas lähenemises parameetrilisi ja mitteparameetrilisi meetodeid.
Kuna aga statistikas oletatakse, et andmed järgivad mingisugust teoreetilist jaotust, siis igasuguste punkthinnangute leidmise käigus arvutatakse ka selle oodatav hajuvus, vähemalt üldistamise korral. Kuigi andmeteadustes kasutatava masinõppe rakendamisel on prognoosi täpsus oluline, siis selle prognoosi hajuvus nt usaldusvahemike kontekstis enamasti mitte^[Nt kogumisse kuuluvate ettevõtete keskmise käibe hindamisel valimi alusel on statistikas oluline esitada, millisesse vahemikku see jääb, samas kui masinõppes oleks oluline ainult keskmine ise]. Erinevale lähenemisele ebakindlusele tulemuse suhtes viitab ka see, kuidas arvutuste tulemust nimetatakse: statistikas räägitakse võimalikest hinnangutest (*estimate*), andmeteadustes aga lihtsalt mõõtmise tulemusest (*metric*). Ehk statistikas keskendutakse palju tulemuse ebakindluse hindamisele, samas kui andmeteadustes ainult tulemusele endale.
Praktilisemas mõttes rakendatakse nende kahe lähenemise puhul ka erinevaid meetodeid erinevatel andmetel. Isegi suur osa kaasajal kasutatavast statistikast kujunes ajal, kui andmikud olid väikesed ja arvutusi tehti enamasti käsitsi paberil. Seega statistilised arvutused pidid olema käsitsi lahendamiseks piisavalt lihtsad, mistõttu vastavad meetodid põhinesid suurel määral matemaatikateoorial ja paljudel eeldustel andmete jaotuse kohta. Andmeteadus seevastu on arenenud aga koos suurandmete leviku ja arvutite võimsuse kasvuga. Nii hõlmavad paljud andmeteaduste rakendused suurandmeid (sh reaalajas tekkivaid andmeid), mis vajavad suurt arvutusvõimsust ja vähem teoreetilisi eeldusi. Kui lihtsustada, siis võib öelda, et statistika põhineb matemaatikal, andmeteadus aga arvutamisel.
| | Statistika | Andmeteadus (masinõpe) |
|---------------------------|--------------------------------------------------------|---------------------------------------|
| Eesmärk | Üldistamine | Prognoosimine |
| Ebakindluse hindamine | Teoreetilised jaotused | Taasvalik |
| Ebakindlus | Hinnangu osa | Ebaoluline |
| Andmed | Korrastatud väikese või keskmise suurusega | Korrastamata suurandmed |
| Meetodid | Matemaatikal põhinevad ja traditsioonilised | Arvutamisel põhinevad ja hiljutised |
: Lihtsustatud statistika ja andmeteaduse (masinõppe) võrdlus. Tegelikkuses esineb kahes veerus palju kattuvusi.
<!--
[[Statistics is very different from data science]]
[[Resampling]]
[[Parametric and nonparametric statistics]]
-->