ilmastodata-harjoitus.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "nbgrader": {
     "deletable": false,
     "editable": false,
     "grade": false,
     "grade_id": "cell-8233ac8439a10563",
     "locked": true,
     "schema_version": 3,
     "solution": false,
     "task": false,
     "trusted": true
    }
   },
   "source": [
    "# Sodankylän ilmastodatan tutkiminen ja visualisointi Pythonilla\n",
    "\n",
    "Olet melko varmasti kuullut joskus ilmastonmuutoksesta ja sen aiheuttamasta uhasta eläimille, ympäristölle and yhteiskunnalle maailmanlaajuisesti. Ehkäpä olet myös nähnyt kuvaajia muutoksista globaaleissa lämpötiloissa ja niissä havaitun lämpenevän kehityssuunnan viimeisen 150 vuoden ajalta. Mutta päteekö tämä Suomeen? Voimmeko havaita vastaavaa lämpenemistä täällä? Jos voimme, niin kuinka paljon lämpenemistä on tapahtunut ja mitkä vuodenajat ovat lämmenneet eniten? Pian nähdään mitä data kertoo...\n",
    "\n",
    "Tässä harjoituksessa käytettävä lämpötiladata on poimittu Ilmatieteen laitoksen Sodankylän mittausasemalta, selvittääksemme lämpeneekö ilmasto pohjoisessa Suomessa. Tutkimme muuttuvaa ilmastoa eri vuodenaikojen mukaan, lopulta tuottaen kuvaajia jotka kertovat miten lämpötilat muuttuvat eri vuodenaikoina."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "nbgrader": {
     "grade": false,
     "grade_id": "cell-c73426860e28df2a",
     "locked": true,
     "schema_version": 3,
     "solution": false,
     "task": false
    }
   },
   "source": [
    "## Hieman datasta\n",
    "\n",
    "Harjoituksessa käytettävä data on noudettu US National Oceanographic and Atmospheric Associationin (NOAA) ilmastotietokannasta, ja sisältää lämpötilamittauksia vuodesta 1908 vuoteen 2020 Sodankylästä. Pengomme dataa heti harjoituksen alussa, jotta jokainen voi nähdä mitä datasarja sisältää, kuinka usein lämpötiloja on mitattu jne.\n",
    "\n",
    "## Harjoituksessa käytettävät työkalut\n",
    "\n",
    "Harjoituksessa käytetään Python-ohjelmointikieltä, jota ajetaan Jupyter notebook -nimisen websovelluksen sisällä. Jupyter notebookit muodostuvat \"soluista\" ja jokainen solu voi sisältää joka tekstiä tai Python-koodia. Jupyter notebookeja puolestaan ajetaan Binder -nimisessä pilvilaskentaympäristössä ja se on sopivan helppokäyttöinen tähän tapaukseen. Tosin, Binder-istunto päättyy 10 minuutissa epäaktiivisuuden jälkeen, joten Binderin kanssa saattaa tulla ongelmia, jos jätät sen koskemattomaksi liian kauaksi aikaa. Binder-ongelmat ja muut mahdolliset ongelmat on kuvattu tarkemmin alla.\n",
    "\n",
    "Asioiden testaaminen voidaan aloittaa käyttämällä alla olevaa koodisolua. Kirjoita etunimesi alla olevien lainausmerkkien sisään ja paina **Shift+Enter** suorittaaksesi solun ja nähdäksesi sen tulosteen. Esimerkiksi jos ensimmäisellä rivillä lukee\n",
    "`nimi = \"Dave\"`\n",
    "niin tulosteen pitäisi olla \n",
    "`Hei, Dave. Toivomme sinun pitävän tämän päivän Python-harjoituksesta!`\n",
    "Kokeile tätä alla!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "nimi = ''\n",
    "print('Hei, ' + nimi + '. Toivomme sinun pitävän tämän päivän Python-harjoituksesta!')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Mitä tehdä ongelman ilmaantuessa?\n",
    "\n",
    "Alla on muutama ongelma jotka saatat kohdata.\n",
    "\n",
    "### Binder hyytyy\n",
    "\n",
    "Jos Binder-istunto tuhoutuu, näet todennäköisesti virheviestin, joka kertoo Binder tai sen \"kernelin\" kuolleen, eikä niitä voida palauttaa automaattisesti toimimaan. Klikkaa virheviestissä olevaa punaista näppäintä, minkä jälkeen joudut mahdollisesti suorittamaan uudestaan solut, jotka olit virheeseen mennessä jo suorittanut. Ainakaan et menetä tekemiäsi asioita toimimalla näin.\n",
    "\n",
    "### Osa kuvaajien käyristä tai mikään niistä ei ole näkyvillä\n",
    "\n",
    "Ellet näe osaa datasta visualisoituna, voit kokeilla seuraavaa:\n",
    "\n",
    "- Klikkaa nimikkeitä saadaksesi kuvaajien käyrät näkyville\n",
    "- Resetoi kuvaajan tarkasteluväli klikkaamalla painiketta, jossa on kaksi nuolta ympyrässä\n",
    "\n",
    "### Virhe näkyy kun yrität suorittaa solua\n",
    "\n",
    "Tässä tapauksessa on parasta lähettää kysymystä Zoomin chattiin, kysyäksesi apua Leeviltä. Virheviestit saattavat olla melko moninaisia.\n",
    "\n",
    "\n",
    "## Harjoituksen aloittaminen\n",
    "\n",
    "Ensin ladataan muutama ohjelmakirjasto,joita käytetään datan lukemiseksi ohjelmaan sekä tulosten visualisointiin.\n",
    "\n",
    "Kirjastot ladataan ohjelmaan klikkaamalla alla olevaa harmaata koodisolua ja painamalla **Shift+Enter**, tai ▶ Run-painiketta yläpalkissa."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "nbgrader": {
     "grade": false,
     "grade_id": "cell-6bece74aaaa34cd4",
     "locked": true,
     "schema_version": 3,
     "solution": false,
     "task": false
    }
   },
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import matplotlib.pyplot as plt\n",
    "import pandas_bokeh"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Lämpötiladatan lukeminen\n",
    "\n",
    "Nyt ohjelmaan voidaan lukea [lämpötiladatan sisältävä tekstitiedosto](https://hub-binder.mybinder.ovh/user/hugg-climate-data-analysis-tgjxvkvn/files/data/2315676.txt?_xsrf=2%7C32ece0d4%7C12a3e62f3a270e183bd737f7c5e3d039%7C1617995921). Tiedosto sisältää lämpötilat ja lämpötilamittausten päivämäärät Ilmatieteen laitoksen mittauspisteeltä Sodankylästä. Koodisolun voi jälleen suorittaa painamalla **Shift+Enter**.\n",
    "\n",
    "Huomaa, ettei alla olevaa koodisolun sisältöä tarvitse ymmärtää. Sen lataamaa datatiedostoa tutkitaan seuraavaksi."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Read data\n",
    "fp = r'data/2315676.txt'\n",
    "data = pd.read_csv(fp, delim_whitespace=True, skiprows=[1], usecols=['DATE', 'TAVG', 'TMAX', 'TMIN'], na_values='-9999', index_col='DATE', parse_dates=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Datan tutkiminen\n",
    "\n",
    "Aloitetaan kurkkaamalla juuri ohjelmaan ladattua dataa. Tämän voi tehdä vaikkapa katsomalla datatiedostosta ladatun datan 10 ensimmäistä riviä ja sitten 10 viimeistä riviä. Paina **Shift+Enter** suorittaaksesi molemmat koodisolut."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "data.head(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "data.tail(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Pysähdy hetkeksi ja mieti!\n",
    "\n",
    "Tähän mennessä lämpötiladataa on ladattu tiedostosta, mutta vielä ei ole kerrottu millaista data on, millä aikavälillä se on mitattu, tai juuri muutakaan datatiedostosta. Kahden yllä olevan koodisolun tulosteita voidaan kuitenkin käyttää vastaamisessa joihinkin kysymyksiin. Vastauksia ei tarvi kirjoittaa ylös.\n",
    "\n",
    "1. Mikä on aikaisin mittauspäivämäärä datatiedostossa?\n",
    "2. Entä mikä on tuorein lämpötilamittaus päivämäärältään?\n",
    "3. Mitä luulisit sarakkeiden otsikoiden `TAVG`, `TMIN` ja `TMAX` tarkoittavan?\n",
    "4. Kuinka usein lämpötilamittauksia on tehty ja kirjattu datatiedostoon?\n",
    "5. Katsoessasi lämpötiloja, näetkö jotain yllättävää? Millaisia yllättäviä asioita näet, ja mitä voisit päätellä niiden tarkoittavan?\n",
    "\n",
    "***Mieti vastauksia kysymyksiin, ennen kuin jatkat harjoitusta.***\n",
    "\n",
    "\n",
    "### Datan tutkiminen, osa 2\n",
    "\n",
    "Seuraavaksi dataa käsitellään eri tavalla, visualisoimalla. Koko mittausaikavälin alusta ja lopusta tuotetaan muutama kuvaaja.\n",
    "\n",
    "Solut voidaan jälleen suorittaa painamalla **Shift+Enter**. Seuraava solu konfiguroi tässä harjoituksessa käytettävät visualisointikirjastot."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "pandas_bokeh.output_notebook()\n",
    "pd.set_option('plotting.backend', 'pandas_bokeh')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nyt kun visualisointiasetukset on konfigurointi, voidaan visualisoida lämpötiladataa. Aloitetaan visualisoimalla lämpötilat keväällä (maaliskuu-toukokuu) 1908. Kuvaaja voidaan tuottaa painamalla **Shift+Enter** alla olevassa solussa.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "ax = data.plot(title='Sodankylä temperatures',\n",
    "                         xlabel='Date', ylabel='Temperature [°F]', xlim=['03-01-1908', '05-31-1908'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Mitä nyt nähdään? \n",
    "\n",
    "Ensinnäkin nähdään kaksi viivaa, nimettynä \"TMAX\" ja \"TMIN\". Nämä kuvaavat maksimi- ja minimilämpötiloja niille päivämäärille, jotka juuri valittiin. Kuvaajassa näkyy myös yläkulmassa \"TAVG\"-nimike, mutta sitä vastaava sininen viiva puuttuu kuvaajasta.\n",
    "\n",
    "\n",
    "#### Pysähdy hetkeksi ja mieti!\n",
    "\n",
    "Tarkastelemalla yllä olevaa kuvaajaa, vastaa seuraaviin kysymyksiin:\n",
    "\n",
    "1. Mikä on kylmin minimilämpötila keväällä 1908? **Huomaa:** yllä oleva kuvaaja on interaktiivinen, joten voit liikutella sitä hiirellä ja zoomata lähemmäksi haluamaasi kohtaan.\n",
    "2. Mikä on lämpimin maksimilämpötila keväällä 1908?\n",
    "3. Mitä mieltä olet kuvaajassa olevasta lämpötilojen vaihteluvälistä? Onko nämä lämpötilat realistisia Sodankylässä keväällä? Miksi ovat, tai mikseivät ole?\n",
    "\n",
    "***Mieti vastauksia kysymyksiin, ennen kuin jatkat harjoitusta.***\n",
    "\n",
    "\n",
    "Katsotaan seuraavaksi sarjaa lämpötiloista keväällä 2020, jonka jälkeen käydään läpi muutama asia siitä, mitä havaitaan. Suorita solu tuottaaksesi kuvaajan."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "ax = data.plot(title='Sodankylä temperatures',\n",
    "                         xlabel='Date', ylabel='Temperature [°F]', xlim=['03-01-2020', '05-31-2020'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Näyttää melko samalta kuin data keväältä 1908, mutta nyt voi nähdä kuvaajassa myös sinisen \"TAVG\"-viivan, joka kuvaa päivittäistä keskilämpötilaa.\n",
    "\n",
    "#### Datamme selitettynä\n",
    "\n",
    "Tähän mennessä datasta on nähty muutamia asioita, jotka on hyvä selittää.\n",
    "\n",
    "1. On nähty, että datatiedosto sisältää päivittäisen lämpötiladatan vuodesta 1908 vuoteen 2020. Tämä tarkoittaa yli 100 vuotta ilmastodataa tutkittavaksi.\n",
    "2. On myös nähty, että jokaiselle päivälle löytyy minimi- (\"TMIN\"), keskiarvo- (\"TAVG\") ja maksimilämpötilahavainto (\"TMAX\").\n",
    "3. Lisäksi, osa lämpötilahavainnoista puuttuu. \n",
    "4. Korkeat lämpötilat datassa ovat todennäköisesti pistäneet silmään. Tämä johtuu siitä, että lämpötilat ovat fahrenheiteissa, koska lämpötiladata on haettu yhdysvaltalaisesta tietokannasta. Lämpötilat muutetaan celsiusasteiksi myöhemmin. \n",
    "\n",
    "\n",
    "## Viimeinen alustavista kuvaajista\n",
    "\n",
    "Toistaiseksi vain pieni osuus koko datan aikavälistä on visualisoitu, siinä missä lämpötilamittauksista on dataa yli 100 vuodelta. Miksei kaikkea dataa kannata visualisoida samaan kuvaajaan? Suorita alla oleva solu niin huomaat!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "ax = data.plot(title='Sodankylä temperatures',\n",
    "                         xlabel='Date', ylabel='Temperature [°F]')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Pelkkää sotkua. Nyt lienee selvää, miksi aiemmin visualisoitiin lyhyempiä aikavälejä.\n",
    "\n",
    "Koska dataa on yli sadan vuoden ajalta joka päivältä, visualisoitavia datapisteitä on melko paljon. Kirjoittamalla komennon `len(data)` alla olevaan soluun ja suorittamalla sen, saadaan selville mittauspäivien eli datapisteiden määrä."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Datan prosessointi\n",
    "\n",
    "Kuten aiemmin on huomattu, keskimääräiset päivälämpötilat sarakkeessa `TAVG` puuttuvat joissain tapauksissa. Eri vaihtoehdoista keskilämpötilojen käyttäminen on järkevintä, kun halutaan nähdä, miten lämpötilat on muuttuneet pidemmän ajan kuluessa eri vuodenaikoina. Joten puuttuvat `TAVG`-arvot täytyy korvata jollain. \n",
    "\n",
    "Alla nämä aukot täytetään käyttämällä arviota päiväkohtaiselle keskilämpötilalle. Arviota muodostuu käyttämällä minimi- ja maksimilämpötiloja seuraavalla kaavalla `TMEAN = (TMAX + TMIN) / 2`.\n",
    "\n",
    "Uudet arviot `TMEAN`-arvoille saadaan suorittamalla alla oleva solu."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "data['TMEAN'] = (data['TMAX'] + data['TMIN']) / 2.0"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Seuraavana puuttuvat `TAVG`-arvot korvataan juuri lasketuilla arvioilla. Tämä voidaan tehdä luomalla uusi sarake `TMEAN` ja kopioimalla arvot siihen. Suorita solu alla tehdäksesi tämän."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "data['TEMP'] = data['TAVG']\n",
    "data['TEMP'].loc[data['TEMP'].isnull()] = data['TMEAN']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Lopulta voidaan poistaa sellaiset päivät, joista edelleen puuttuu päivittäinen keskilämpötila. Tämä voi johtua siitä, että kyseisiltä päiviltä puuttuu `TMAX` tai `TMIN`, joita käytettäisiin arvion laskemiseen."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "data.dropna(subset=['TEMP'], inplace=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Katsotaan seuraavaksi miltä muokattu data näyttää, tulostamalla 10 ensimmäistä ja viimeistä riviä. Voit kopioida ja liittää koodia ylemmistä soluista kahteen alla olevaan. *Vinkki: aiemmin samoihin operaatioihin käytettiin `head`- ja `tail`-funktioita.*"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Voit myös varmistaa, kuinka monelta päivältä keskilämpötiloja on tällä hetkellä, kun kelpaamaton data (puuttuvat `TEMP`-arvot) on pudotettu pois. Tämä voidaan tehdä kirjoittamalla `len(data)` alla olevaan soluun ja suorittamalla sen."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Pysähdy hetkeksi ja mieti!**\n",
    "\n",
    "Nyt dataa on muokattu hieman, joten on hyvä miettiä mitä onkaan tehty. Käyttämällä yllä olevia tulosteita, mieti seuraavia kysymyksiä:\n",
    "\n",
    "1. Mitä dataa on sarakkeissa \"TAVG\", \"TMEAN\" ja \"TEMP\"? Miten ne eroavat toisistaan?\n",
    "2. Mitä \"TEMP\" sisältää, jos jokin datapiste on sarakkeessa \"TAVG\" muttei sarakkeessa \"TMEAN\"?\n",
    "3. Mitä \"TEMP\" sisältää, jos jokin datapiste on sarakkeessa \"TMEAN\" muttei sarakkeessa \"TAVG\"?\n",
    "4. Ymmärsitkö mitä tapahtui sarakkeen \"TEMP\" tyhjiä kohtia täyttäessä? Miksi tai mikset?\n",
    "\n",
    "***Mieti vastauksia näihin kysymyksiin ennen kuin jatkat tehtävänä tekemistä.***\n",
    "\n",
    "\n",
    "### Muokatun datan tutkimista\n",
    "\n",
    "Nyt voidaankin katsoa datassa olevia muutoksia myös visualisoimalla. Suorita alla oleva solu visualisoidaksesi kevään 1908 uudelleen."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "ax = data.plot(title='Sodankylä temperatures',\n",
    "                         xlabel='Date', ylabel='Temperature [°F]', xlim=['03-01-1908', '05-31-1908'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Klikkaamalla lämpötilakäyriä vastaavia nimikkeitä, voidaan käyriä piilottaa. Klikkaa nimikettä \"TEMP\" yllä olevassa kuvaajassa. Näetkö mitään muuta dataa kun piilotat \"TEMP\"-arvot? Entä jos piilotat käyrän \"TMEAN\"? Mieti tätä hetki.\n",
    "\n",
    "Mitä nyt nähdään? Ensinnäkin, voidaan nähdä että keväälle 1908 ei ole \"TAVG\"-arvoja, joten sille ajanjaksolle on täytetty \"TEMP\"-arvoja, jotka on laskettu \"TMIN\" ja \"TMAX\" keskiarvosta. \n",
    "\n",
    "Katsotaan seuraavaksi kevättä 2020."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "ax = data.plot(title='Sodankylä temperatures',\n",
    "                         xlabel='Date', ylabel='Temperature [°F]', xlim=['03-01-2020', '05-31-2020'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Mitä tapahtuu nyt kun piilotat käyrän \"TEMP\"?\n",
    "\n",
    "**Pysähdy hetkeksi ja mieti!**\n",
    "\n",
    "Katsomalla kahta ylläolevaa kuvaajaa:\n",
    "\n",
    "1. Mikä arvoa on käytetty täyttämään puuttuvat lämpötilat keväällä 2020? Onko sen käyttäminen järkevää?\n",
    "2. Kuinka lähellä arviot päivittäisestä keskilämpötilasta käyttäen \"TMIN\"- ja \"TMAX\"-arvoja ovat, verrattuna sarakkeeseen \"TAVG\"?\n",
    "3. Onko arvioitu keskilämpötila lähellä mitattua päivittäistä keskilämpötilaa?\n",
    "\n",
    "***Mieti vastauksia näihin kysymyksiin ennen kuin jatkat harjoitusta.***\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Lämpötilojen muuttaminen celciusasteisiin\n",
    "\n",
    "Tähän mennessä on käsitelty lämpötiloja fahrenheiteissa, mutta ne täytyy muuttaa celsiusasteisiin, koska celsiusasteet ovat yleisimpiä lämpötilan yksiköitä suurimmassa osassa maailmaa (myös Suomessa). Tämä voidaan tehdä käyttämällä \"funktiota\".\n",
    "\n",
    "Yksinkertainen funktio voidaan luoda suorittamalla alla oleva solu. Siinä käytetty yhtälö on\n",
    "\n",
    "$$\n",
    "\\Large\n",
    "T_{\\mathrm{C}} = 5/9 * (T_{\\mathrm{F}} - 32)\n",
    "$$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def f2c(temp):\n",
    "    \"\"\"Converts temperatures from Fahrenheit to Celsius\"\"\"\n",
    "    return 5/9 * (temp - 32.0)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Yllä oleva solu vain määrittelee \"funktion\" niin, että sitä voidaan käyttää myöhemmin. Lämpötilayksiköiden muuttamiseksi täytyy suorittaa alla oleva solu.\n",
    "\n",
    "Suorittamalla solun alla, lämpötilat muutetaan sarakkeesta \"TEMP\" uuteen sarakkeeseen \"TEMP_C\", jolloin ne ovat celciusasteina."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "data['TEMP_C'] = data['TEMP'].apply(f2c)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Tässä vaiheessa dataa voidaan taas tarkastella kirjoittamalla `data` alla olevaan soluun ja suorittamalla se."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Pysähdy hetkeksi ja mieti!**\n",
    "\n",
    "Käyttämällä yllä olevaa tulostetta, mieti seuraavia kysymyksiä:\n",
    "\n",
    "1. Vaikuttavatko lämpötilat sarakkeessa \"TEMP_C\" järkeviltä?\n",
    "2. Entä vaikuttavatko nämä lämpötilat järkeviltä Sodankylälle?\n",
    "\n",
    "***Mieti vastauksia näihin kysymyksiin, ennen kuin jatkat harjoitusta.***\n",
    "\n",
    "\n",
    "## Kuukausittaisten keskilämpötilojen laskeminen\n",
    "\n",
    "Kokonaistavoitteena harjoituksessa on nähdä, miten lämpötilat eri vuodenaikoina ovat muuttuneet mitatun datan ajanjaksolla. Vaikka vuodenaikojen keskilämpötilat voitaisiinkin laskea heti, aloitetaan muuttamalla päivittäiset lämpötilahavainnot kuukausittaisiksi keskiarvolämpötiloiksi. Myöhemmin kuukausittaisia lämpötiloja käytetään vuodenaikojen keskiarvolämpötilojen laskemiseen.\n",
    "\n",
    "Tämän aloittamiseksi, jaetaan lämpötilat kuukausittaisiin ryhmiin joka vuodelta. Suorita alla oleva solu tehdäksesi tämän."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "grouped = data.groupby(pd.Grouper(freq='M'))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nyt kun lämpötilat on ryhmitelty kuukausittain, voidaan alla oleva solu suorittaa uuden datataulukon `montly_data` luomiseksi. Se sisältää keskiarvot jokaiselle kuukaudelle. Huomaa, että solun suorittamisessa saattaa kestää hetki."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Create an empty DataFrame for the aggregated values\n",
    "monthly_data = pd.DataFrame()\n",
    "\n",
    "# The columns that we want to aggregate\n",
    "mean_cols = ['TEMP_C']\n",
    "\n",
    "# Iterate over the groups\n",
    "for key, group in grouped:\n",
    "    \n",
    "   # Calculate mean\n",
    "   mean_values = group[mean_cols].mean()\n",
    "\n",
    "   # Add the ´key´ (i.e. the date+time information) into the aggregated values\n",
    "   mean_values['DATE'] = key\n",
    "\n",
    "   # Append the aggregated values into the DataFrame\n",
    "   monthly_data = monthly_data.append(mean_values, ignore_index=True)\n",
    "    \n",
    "monthly_data = monthly_data.set_index('DATE')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Katsotaan seuraavaksi miltä uusi datataulukko näyttää. Voit katsella sitä kirjoittamalla `monthly_data` alla olevaan soluun ja suorittamalla sen."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Pysähdy ja mieti!**\n",
    "\n",
    "Yllä olevan tulosteen perusteella:\n",
    "\n",
    "1. Mitä luulet tapahtuneen, kun uusi `monthly_data`-datataulukko luotiin?\n",
    "2. Mitä arvot `TEMP_C`-sarakkeessa merkitsevät tässä kohtaa? Ovatko ne järkeviä?\n",
    "3. Näetkö jotain odottamatonta tulosteessa?\n",
    "\n",
    "***Mieti vastauksia näihin kysymyksiin ennen kuin jatkat harjoitusta.***\n",
    "\n",
    "\n",
    "Toivottavasti jokaisella on nyt ajatus siitä, mitä lämpötila-arvot `monthly_data`-taulukossa edustavat, mutta tähän palataan vielä mikäli asia tuntuu hämmentävältä.\n",
    "\n",
    "Katsotaan nyt kaikkia kuukausittaisia lämpötiloja kuvaajassa, josko se auttaisi ymmärtämään, miten lämpötilat ovat muuttuneet vuodesta 1908. Suorita solu alla luodaksesi kuvaajan kuukausittaisista lämpötiloista."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "ax = monthly_data.plot(title='Sodankylä temperatures',\n",
    "                       xlabel='Date', ylabel='Temperature [°C]', figsize=(800,500))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Hmm... Ei välttämättä vieläkään hyödyllistä. Voidaan ehkä nähdä hieman enemmän miten lämpötilat on vaihdelleet suhteessa keskiarvoihin, mutta silti on vaikea nähdä selkeitä trendejä datassa, kuten asteittaista lämpenemistä. Tämän nähdäkseen tarvii tehdä kaksi seuraavaa vaihetta analyysia. \n",
    "\n",
    "**Huomaa:** Mikäli ihmettelet jotain \"odottamatonta\" asiaa yllä, niin se todennäköisesti lienee kuukausittaisten lämpötilojen nimeämistä kuukausien viimeisten päivien mukaan. Tällaisessa dataformaatissa jokaisella datapisteellä täytyy nimittäin olla vuosi, kuukausi ja päivä.\n",
    "\n",
    "## Kuukausittaisten keskiarvolämpötilojen laskeminen suhteessa referenssiperiodiin\n",
    "\n",
    "Seuraavat muutama askelta saattavat olla hieman hämmentäviä, mutta yritetään selittää ne, sekä kysyä auttavia kysymyksiä. Tässä ja tätä seuraavassa osiossa lasketaan lämpötila-anomalia jokaiselle kuukaudella datassa. *Lämpötila-anomalia* on tapa nähdä, kuinka paljon lämpimämpi tai viileämpi tietyn kuukauden keskilämpötila on ollut suhteessa \"tyypilliseen\" saman kuukauden lämpötilaan jollain referenssivälillä. Tässä tapauksessa lasketaan keskiarvolämpötila jokaiselle kuukaudelle välillä 1951-1980 ja käytetään näitä \"tyypillisinä\" lämpötiloina. Esimerkiksi laskemalla saadaan selville, että keskilämpötila tammikuussa vuosina 1951-1980 on ollut noin 14°C. Verraten tähän lämpötilaan, voidaan katsoa jokaista tammikuuta datassa, ja laskea, kuinka paljon lämpimämpiä tai viileämpiä ne olivat suhteessa referenssivuosien (1951-1980) tammikuihin. Tämä auttaa selvittämään, ovatko kuukausien keskilämpötilat olleet nousussa vai laskussa ajan mittaan.\n",
    "\n",
    "Aloittaaksemme, dataa ryhmitellään uudestaan, tällä kertaa jokaiselle kuukaudelle aikavälillä 1951-1980. Suorita solu alla tehdäksesi tämän ryhmittelyn."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "monthly_data['MONTH'] = monthly_data.index.month\n",
    "grouped = monthly_data['1951-01-01' :'1980-12-31'].groupby('MONTH')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nyt kaikki kuukaudet on ryhmitelty referenssivuosina, joten seuraavaksi voidaan laskea kuukausien keskilämpötilat referenssivuosilta 1951-1980. Tämä antaa taas kokonaisuudessaan 12 eri lämpötila-arvoa, yksi jokaiselle kuukaudelle. Lämpötilat ovat keskimääräisiä arvoja \"tyypilliselle\" vuoden em. aikavälillä."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Create an empty DataFrame for the aggregated values\n",
    "ref_temps = pd.DataFrame()\n",
    "\n",
    "# Iterate over the groups\n",
    "for key, group in grouped:\n",
    "    \n",
    "    # Calculate mean\n",
    "    ref_value = group['TEMP_C'].mean()\n",
    "\n",
    "    # Create Series with values\n",
    "    mean_series = pd.Series([key, ref_value])\n",
    "\n",
    "    # Append the aggregated values into the DataFrame\n",
    "    ref_temps = ref_temps.append(mean_series, ignore_index=True)\n",
    "    \n",
    "# Assign columnn names\n",
    "ref_temps.columns = ['MONTH', 'REF_TEMP']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Katsotaan nopeasti uutta dataa. Tämän voi tehdä kirjoittamalla soluun alla `ref_temps` ja suorittamalla solun."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Pysähdy hetkeksi ja mieti!**\n",
    "\n",
    "Yllä olevan tulosteen perusteella:\n",
    "\n",
    "1. Mitä numerot sarakkeessa `MONTH` tarkoittavat?\n",
    "2. Mitä numerot sarakkeessa `REF_TEMP` tarkoittavat?\n",
    "3. Mitä tekisit löytääksesi keskiarvolämpötilan elokuussa aikavälillä 1951-1980?\n",
    "\n",
    "***Mieti vastauksia kysymyksiin, ennen kuin jatkat harjoitusta.***\n",
    "\n",
    "\n",
    "Toivottavasti olet ymmärtänyt tähän mennessä, että uusi datataulukkomme sisältää keskiarvolämpötilat jokaiselta kuukaudelta aikavälillä 1951-1980. Kuukaudet on annettu numeroina (1-12), jolloin tammikuu on numero 1 ja joulukuu on numero 12. Tällä tavoin elokuun keskilämpötila referenssivuosina on noin 5.9°C.\n",
    "\n",
    "\n",
    "## Lämpötila-anomalioiden laskeminen kaikille kuukausille\n",
    "\n",
    "\"Referenssilämpötilat\" on laskettu, joten voidaan siirtyä kuukausittaisten lämpötila-anomalioiden laskemiseen. Muistutuksena, kuukausittainen lämpötila-anomalia on ero tietyn kuukauden lämpötilassa tiettynä vuotena suhteessa referenssivuosien 1951-1980 tietyn kuukauden lämpötilaan. Joten, nyt voidaan laskea nämä anomaliat ja nähdä, että tammikuu 1908 oli noin 0.3°C kylmempi kuin referenssivuosien tyypillinen tammikuu, kun taas tammikuu vuonna 1909 oli noin 6.1°C astetta lämpimämpi kuin referenssivuosina. Tämä laskusuoritus tehdään alempana ja tutkitaan tuloksia.\n",
    "\n",
    "Suorittamalla solun alla tapahtuu kaksi asiaa:\n",
    "\n",
    "1. Se lisää \"referenssilämpötilat\" kuukausittaiseen datataulukkoomme.\n",
    "2. Se laskee ja luo uuden sarakkeen nimeltään \"DIFF\", joka sisältää lämpötila-anomalian jokaiselle kuukaudelle. \n",
    "\n",
    "Suorita solu alla laskeaksesi lämpötila-anomaliat."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Join the data from reference_temps with outer join to monthly_data\n",
    "monthly_data = monthly_data.reset_index().merge(ref_temps, on='MONTH', how='outer')\n",
    "\n",
    "# Set index\n",
    "monthly_data = monthly_data.set_index('DATE')\n",
    "\n",
    "# Let's calculate the differences\n",
    "monthly_data['DIFF'] = monthly_data['TEMP_C'] - monthly_data['REF_TEMP']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Katsotaan seuraavaksi, miltä kuukausittainen data näyttää taulukossa. Tämän voi tehdä kirjoittamalla `monthly_data` soluun alla ja suorittamalla sen."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Pysähdy hetkeksi ja mieti!**\n",
    "\n",
    "Tarkastelemalla tulostetta yllä, mieti seuraavia kysymyksiä:\n",
    "\n",
    "1. Mitä positiivinen arvo tarkoittaa \"DIFF\"-sarakkeessa? Miten tämä lämpötila vertautuu referenssivuosien lämpötiloihin?\n",
    "2. Entä negatiiviset \"DIFF\"-sarakkeen arvot, mitä ne tarkoittavat?\n",
    "3. Tarkastelemalla tammikuiden 1908-1912 lämpötiloja, ovatko kaikki tammikuut kylmempiä kuin referenssivuosina, vai ovatko jotkut lämpimämpiä?\n",
    "\n",
    "***Mieti vastauksia näihin kysymyksiin, ennen kuin jatkat harjoitusta.***\n",
    "\n",
    "\n",
    "### Eri vuodenaikojen lämpötila-anomaliat\n",
    "\n",
    "Tässä vaiheessa on laskettu kaikkien kuukausien lämpötila-anomaliat suhteessa referenssivuosiin. Seuraavaksi täytyy laskea eri vuodenaikojen lämpötila-anomaliat yhdistelemällä kuukausia. Seuraavia kuukausia käytetään vuodenaikojen määrittelyyn:\n",
    "\n",
    "- talvi: (edellisen vuoden) joulukuu, tammikuu, helmikuu\n",
    "- kevät: maaliskuu, huhtikuu, toukokuu\n",
    "- kesä: kesäkuu, heinäkuu, elokuu\n",
    "- syksy: syyskuu, lokakuu, marraskuu\n",
    "\n",
    "Alla oleva solu sisältää melko monta riviä koodia, mutta periaatteessa se vain yhdistelee eri kuukausien lämpötilat vuodenaikojen keskilämpötiloiksi. Suorita solu alla."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "winter_temps = pd.DataFrame()\n",
    "spring_temps = pd.DataFrame()\n",
    "summer_temps = pd.DataFrame()\n",
    "autumn_temps = pd.DataFrame()\n",
    "\n",
    "for year in range(1909,2021):\n",
    "    winter_diffs = monthly_data['DIFF'].loc[(monthly_data.index >= str(year-1)+'-12') & (monthly_data.index < str(year)+'-03')]\n",
    "    winter_temp_c = monthly_data['TEMP_C'].loc[(monthly_data.index >= str(year-1)+'-12') & (monthly_data.index < str(year)+'-03')]\n",
    "    spring_diffs = monthly_data['DIFF'].loc[(monthly_data.index >= str(year)+'-03') & (monthly_data.index < str(year)+'-06')]\n",
    "    spring_temp_c = monthly_data['TEMP_C'].loc[(monthly_data.index >= str(year)+'-03') & (monthly_data.index < str(year)+'-06')]\n",
    "    summer_diffs = monthly_data['DIFF'].loc[(monthly_data.index >= str(year)+'-06') & (monthly_data.index < str(year)+'-09')]\n",
    "    summer_temp_c = monthly_data['TEMP_C'].loc[(monthly_data.index >= str(year)+'-06') & (monthly_data.index < str(year)+'-09')]\n",
    "    autumn_diffs = monthly_data['DIFF'].loc[(monthly_data.index >= str(year)+'-09') & (monthly_data.index < str(year)+'-12')]\n",
    "    autumn_temp_c = monthly_data['TEMP_C'].loc[(monthly_data.index >= str(year)+'-09') & (monthly_data.index < str(year)+'-12')]\n",
    "\n",
    "    winter_series = pd.Series([year, winter_temp_c.mean(), winter_diffs.mean()])\n",
    "    if len(winter_diffs) == 3:\n",
    "        winter_temps = winter_temps.append(winter_series, ignore_index=True)\n",
    "    spring_series = pd.Series([year, spring_temp_c.mean(), spring_diffs.mean()])\n",
    "    if len(spring_diffs) == 3:\n",
    "        spring_temps = spring_temps.append(spring_series, ignore_index=True)\n",
    "    summer_series = pd.Series([year, summer_temp_c.mean(), summer_diffs.mean()])\n",
    "    if len(summer_diffs) == 3:\n",
    "        summer_temps = summer_temps.append(summer_series, ignore_index=True)\n",
    "    autumn_series = pd.Series([year, autumn_temp_c.mean(), autumn_diffs.mean()])\n",
    "    if len(autumn_diffs) == 3:\n",
    "        autumn_temps = autumn_temps.append(autumn_series, ignore_index=True)\n",
    "\n",
    "winter_temps.columns = ['Year', 'Temperature', 'Anomaly']\n",
    "spring_temps.columns = ['Year', 'Temperature', 'Anomaly']\n",
    "summer_temps.columns = ['Year', 'Temperature', 'Anomaly']\n",
    "autumn_temps.columns = ['Year', 'Temperature', 'Anomaly']\n",
    "\n",
    "winter_temps['Year'] = pd.to_datetime(winter_temps['Year'], format='%Y')\n",
    "winter_temps = winter_temps.set_index('Year')\n",
    "spring_temps['Year'] = pd.to_datetime(spring_temps['Year'], format='%Y')\n",
    "spring_temps = spring_temps.set_index('Year')\n",
    "summer_temps['Year'] = pd.to_datetime(summer_temps['Year'], format='%Y')\n",
    "summer_temps = summer_temps.set_index('Year')\n",
    "autumn_temps['Year'] = pd.to_datetime(autumn_temps['Year'], format='%Y')\n",
    "autumn_temps = autumn_temps.set_index('Year')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Eri vuodenaikojen lämpötilojen visualisointi\n",
    "\n",
    "Nyt kun on laskettu eri vuodenajoille lämpötila-anomaliat, voi piirtää kuvaajia tulosten tutkimiseksi. Suorita alla oleva solu, joka luo neljän paneelin kuvaajan neljästä vuodenajasta."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Create horizontal bar (via kind keyword):\n",
    "winter_plot = winter_temps['Anomaly'].plot(\n",
    "    xlabel='Date',\n",
    "    ylabel='Temperature anomaly (°C)',\n",
    "    title='Winter',\n",
    "    color='#1f77b4',\n",
    "    plot_data_points=True,\n",
    "    marker='o',\n",
    "    ylim=[-7.5, 7.5],\n",
    "    legend = 'bottom_right',\n",
    "    show_figure=False)\n",
    "\n",
    "spring_plot = spring_temps['Anomaly'].plot(\n",
    "    xlabel='Date',\n",
    "    ylabel='Temperature anomaly (°C)',\n",
    "    title='Spring',\n",
    "    color='#ff7f0e',\n",
    "    plot_data_points=True,\n",
    "    marker='o',\n",
    "    ylim=[-7.5, 7.5],\n",
    "    legend = 'bottom_right',\n",
    "    show_figure=False)\n",
    "\n",
    "summer_plot = summer_temps['Anomaly'].plot(\n",
    "    xlabel='Date',\n",
    "    ylabel='Temperature anomaly (°C)',\n",
    "    title='Summer',\n",
    "    color='#2ca02c',\n",
    "    plot_data_points=True,\n",
    "    marker='o',\n",
    "    ylim=[-7.5, 7.5],\n",
    "    legend = 'bottom_right',\n",
    "    show_figure=False)\n",
    "\n",
    "autumn_plot = autumn_temps['Anomaly'].plot(\n",
    "    xlabel='Date',\n",
    "    ylabel='Temperature anomaly (°C)',\n",
    "    title='Autumn',\n",
    "    color='#d62728',\n",
    "    plot_data_points=True,\n",
    "    marker='o',\n",
    "    ylim=[-7.5, 7.5],\n",
    "    legend = 'bottom_right',\n",
    "    show_figure=False)\n",
    "\n",
    "#Plot all barplot examples in a grid:\n",
    "grid_plot = pandas_bokeh.plot_grid([[winter_plot, spring_plot],\n",
    "                                    [summer_plot, autumn_plot]], \n",
    "                                    plot_width=450)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vihdoin voidaan nähdä jotain hyödyllistä! Nyt nähdään, miten lämpötilat eri vuodenaikoina ovat vaihdelleet vuodesta 1908, verrattuna referenssivuosiin 1951-1980. Mahdollisesti myös lämpötilojen kehityssuunnasta voi jo sanoa jotain.\n",
    "\n",
    "\n",
    "**Pysähdy hetkeksi ja mieti!**\n",
    "\n",
    "Tarkastelemalla yllä olevaa kuvaajaa, mieti seuraavia kysymyksiä:\n",
    "\n",
    "1. Miten lämpötila-anomaliat muuttuvat jokaisena vuodenaikana aikavälillämme?\n",
    "2. Kasvavatko vai pienentyvätkö anomaliat jatkuvasti, vai vaihtelevatko ne vuodesta toiseen?\n",
    "3. Minä vuodenaikana anomaliat muuttuvat eniten? Entä vähiten?\n",
    "4. Jos täytyisi arvioida, viittaavatko anomaliat lämpötilojen nousuun jokaisena vuodenaikana, vai vain joinain?\n",
    "5. Minä vuodenaikana lämpötilat näyttävät nousevan nopeiten?\n",
    "\n",
    "***Mieti vastauksia näihin kysymyksiin, ennen kuin jatkat harjoitusta.***\n",
    "\n",
    "\n",
    "## Regressiokäyrän sovittaminen lämpötila-anomalioihin\n",
    "\n",
    "Tässä osiossa lasketaan lineaarinen sovitus lämpötiladatalla, nähdäksemme kuinka nopeaa lämpötilat keskimäärin ovat nousseet eri vuodenaikoina. Lineaarinen sovitus, tai regressiokäyrä, on paras sovituskäyrä joka mallintaa lämpötiladataa. Tämän käyrän kulmakerroin kertoo keskimääräisen nopeuden lämpötilan muutokselle eri vuodenaikoina, yksikkönään celsiusaste per vuosi.\n",
    "\n",
    "Aloittaakseen, täytyy luoda uusi \"funktio\". Tässä tapauksessa funktio mahdollistaa käyrän kulmakertoimen ja y-akselin leikkauspisteen laskemisen käyttämällä lämpötiladataa. Suorita alla oleva solu määrittääksesi funktion."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def least_squares(x, y):\n",
    "    \"\"\"Returns the coefficients for a least-squares regression line to x-y data\"\"\"\n",
    "    n = len(x)\n",
    "    delta = n * (x**2).sum() - x.sum()**2\n",
    "    a = ((x**2).sum() * y.sum() - x.sum() * (x * y).sum()) / delta\n",
    "    b = (n * (x * y).sum() - x.sum() * y.sum()) / delta\n",
    "    return a, b"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nyt funktiota voidaan käyttää käyrän sovittamiseen lämpötiladataan. Suorita solu alla käyrän kulmakertoimen ja y-akselin leikkauspisteen laskemista varten."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "a_winter, b_winter = least_squares(winter_temps.index.year.values, winter_temps['Anomaly'].values)\n",
    "winter_temps['Trendline'] = winter_temps.index.year * b_winter + a_winter\n",
    "\n",
    "a_spring, b_spring = least_squares(spring_temps.index.year.values, spring_temps['Anomaly'].values)\n",
    "spring_temps['Trendline'] = spring_temps.index.year * b_spring + a_spring\n",
    "\n",
    "a_summer, b_summer = least_squares(summer_temps.index.year.values, summer_temps['Anomaly'].values)\n",
    "summer_temps['Trendline'] = summer_temps.index.year * b_summer + a_summer\n",
    "\n",
    "a_autumn, b_autumn = least_squares(autumn_temps.index.year.values, autumn_temps['Anomaly'].values)\n",
    "autumn_temps['Trendline'] = autumn_temps.index.year * b_autumn + a_autumn"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nyt on myös valmiina sovituskäyriä kuvaajia varten. Ennen kuin jatketaan kuvaajien tuottamista, voidaan ensin tarkastella joitain muuttujia alla olevissa soluissa. Voit esimerkiksi katsoa y-akselin leikkauspisteen talvien sovituskäyrälle komennolla `a_winter` ja kulmakertoimen komennolla `b_winter`. Kirjoita komennot ja suorita molemmat solut alla."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Pysähdy hetkeksi ja mieti!**\n",
    "\n",
    "Tarkastelemalla tulostetta yllä, mieti seuraavia kysymyksiä:\n",
    "\n",
    "1. Mitä y-akselin leikkauspiste yleensäkin tarkoittaa?\n",
    "2. Mitä y-akselin leikkauspiste tarkoittaa talven sovituskäyrälle? Onko sen arvo järkevä?\n",
    "3. Tulosteen perusteella, kuinka nopeaa lämpötilat nousevat Sodankylässä keskimäärin? Vaikuttaako tämä luku järkevältä?\n",
    "\n",
    "***Mieti vastauksia yllä oleviin kysymyksiin, ennen kuin jatkat harjoitusta.***\n",
    "\n",
    "\n",
    "Nyt voidaan siirtyä luomaan kuvaajia, joissa on myös sovituskäyrät mukana. Suorita solu alla."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Create horizontal bar (via kind keyword):\n",
    "winter_plot = winter_temps[['Anomaly', 'Trendline']].plot(\n",
    "    xlabel='Date',\n",
    "    ylabel='Temperature anomaly (°C)',\n",
    "    title='Winter'.format(b_winter),\n",
    "    color='#1f77b4',\n",
    "    alpha=0.6,\n",
    "    plot_data_points=True,\n",
    "    marker='o',\n",
    "    ylim=[-7.5, 7.5],\n",
    "    legend = 'bottom_right',\n",
    "    show_figure=False)\n",
    "\n",
    "spring_plot = spring_temps[['Anomaly', 'Trendline']].plot(\n",
    "    xlabel='Date',\n",
    "    ylabel='Temperature anomaly (°C)',\n",
    "    title='Spring'.format(b_spring),\n",
    "    color='#ff7f0e',\n",
    "    alpha=0.6,\n",
    "    plot_data_points=True,\n",
    "    marker='o',\n",
    "    ylim=[-7.5, 7.5],\n",
    "    legend = 'bottom_right',\n",
    "    show_figure=False)\n",
    "\n",
    "summer_plot = summer_temps[['Anomaly', 'Trendline']].plot(\n",
    "    xlabel='Date',\n",
    "    ylabel='Temperature anomaly (°C)',\n",
    "    title='Summer'.format(b_summer),\n",
    "    color='#2ca02c',\n",
    "    alpha=0.6,\n",
    "    plot_data_points=True,\n",
    "    marker='o',\n",
    "    ylim=[-7.5, 7.5],\n",
    "    legend = 'bottom_right',\n",
    "    show_figure=False)\n",
    "\n",
    "autumn_plot = autumn_temps[['Anomaly', 'Trendline']].plot(\n",
    "    xlabel='Date',\n",
    "    ylabel='Temperature anomaly (°C)',\n",
    "    title='Autumn'.format(b_autumn),\n",
    "    color='#d62728',\n",
    "    alpha=0.6,\n",
    "    plot_data_points=True,\n",
    "    marker='o',\n",
    "    ylim=[-7.5, 7.5],\n",
    "    legend = 'bottom_right',\n",
    "    show_figure=False)\n",
    "\n",
    "#Plot all barplot examples in a grid:\n",
    "grid_plot = pandas_bokeh.plot_grid([[winter_plot, spring_plot],\n",
    "                                    [summer_plot, autumn_plot]], \n",
    "                                    plot_width=450)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Pysähdy hetkeksi ja mieti!**\n",
    "\n",
    "Tarkastelemalla tulostetta yllä, mieti seuraavia kysymyksiä:\n",
    "\n",
    "1. Katsomalla kuvaajan kaikkia neljää ruutua, minä vuodenaikana lämpötilat näyttävät nousevan nopeiten? Entä hitaiten?\n",
    "2. Voit arvioida muutoksen nopeutta lämpötiloissa käyttämällä kuvaajia yllä zoomaamalla sopiviin kohtiin ja tarkastelemalla kohtia, joissa sovituskäyrä ylittää ruudukon viivoja. Näin käyttämällä zoomaustyökalua, voidaan arvioida lämpötilojen muutosnopeuksia eri vuodenaikoina. Kirjoita laskemasi arviot ylös.\n",
    "\n",
    "***Mieti vastauksia näihin kysymyksiin, ennen kuin jatkat harjoitusta.***\n",
    "\n",
    "Siispä nyt on nähty, että sovituskäyriä voidaan visualisoida lämpötila-anomalioiden kanssa, jotta voidaan nähdä kuinka nopeaa lämpötilat nousevat tiettyinä vuodenaikoina. Lisäksi zoomaamalla kuvaajia voidaan arvioida lämpötilojen muutosta eri vuodenaikoina. Tätäkin voidaan vielä viedä eteenpäin! Jo aiemmin on laskettu kulmakertoimet piirretyille käyrille, joten aiemmin laskettuja kulmakertoimia voidaan hyödyntää, ja lisätä kyseiset arvot kuvaajiin.\n",
    "\n",
    "Suorita alla oleva solu luodaksesi samanlaisen kuvaajan kuin yllä, mutta kulmakertoimien arvoilla jokaisessa ruudussa."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Create horizontal bar (via kind keyword):\n",
    "winter_plot = winter_temps[['Anomaly', 'Trendline']].plot(\n",
    "    xlabel='Date',\n",
    "    ylabel='Temperature anomaly (°C)',\n",
    "    title='Winter (slope = {0:.3f}°C/year)'.format(b_winter),\n",
    "    color='#1f77b4',\n",
    "    alpha=0.6,\n",
    "    plot_data_points=True,\n",
    "    marker='o',\n",
    "    ylim=[-7.5, 7.5],\n",
    "    legend = 'bottom_right',\n",
    "    show_figure=False)\n",
    "\n",
    "spring_plot = spring_temps[['Anomaly', 'Trendline']].plot(\n",
    "    xlabel='Date',\n",
    "    ylabel='Temperature anomaly (°C)',\n",
    "    title='Spring (slope = {0:.3f}°C/year)'.format(b_spring),\n",
    "    color='#ff7f0e',\n",
    "    alpha=0.6,\n",
    "    plot_data_points=True,\n",
    "    marker='o',\n",
    "    ylim=[-7.5, 7.5],\n",
    "    legend = 'bottom_right',\n",
    "    show_figure=False)\n",
    "\n",
    "summer_plot = summer_temps[['Anomaly', 'Trendline']].plot(\n",
    "    xlabel='Date',\n",
    "    ylabel='Temperature anomaly (°C)',\n",
    "    title='Summer (slope = {0:.3f}°C/year)'.format(b_summer),\n",
    "    color='#2ca02c',\n",
    "    alpha=0.6,\n",
    "    plot_data_points=True,\n",
    "    marker='o',\n",
    "    ylim=[-7.5, 7.5],\n",
    "    legend = 'bottom_right',\n",
    "    show_figure=False)\n",
    "\n",
    "autumn_plot = autumn_temps[['Anomaly', 'Trendline']].plot(\n",
    "    xlabel='Date',\n",
    "    ylabel='Temperature anomaly (°C)',\n",
    "    title='Autumn (slope = {0:.3f}°C/year)'.format(b_autumn),\n",
    "    color='#d62728',\n",
    "    alpha=0.6,\n",
    "    plot_data_points=True,\n",
    "    marker='o',\n",
    "    ylim=[-7.5, 7.5],\n",
    "    legend = 'bottom_right',\n",
    "    show_figure=False)\n",
    "\n",
    "#Plot all barplot examples in a grid:\n",
    "grid_plot = pandas_bokeh.plot_grid([[winter_plot, spring_plot],\n",
    "                                    [summer_plot, autumn_plot]], \n",
    "                                    plot_width=450)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Pysähdy hetkeksi ja mieti!**\n",
    "\n",
    "Tarkastelemalla yllä olevaa kuvaajaa, mieti seuraavia kysymyksiä:\n",
    "\n",
    "1. Katsomalla aiemmin laskemiasi arvioita eri vuodenaikojen lämpötilojen muutosnopeudelle, kuinka hyvin ne vertautuvat kuvaajassa oleviin arvoihin? \n",
    "2. Vaikuttaako suora hyvältä sovitusmallilta lämpötilan muutoksia varten kaikkina vuodenaikoina, vai tarjoaisiko jonkin muun muotoinen käyrä paremman sovituksen?\n",
    "3. Tarjoaako suora paremman sovituksen joinain vuodenaikoina kuin toisina?\n",
    "\n",
    "***Mieti vastauksia näihin kysymyksiin, ennen kuin jatkat harjoitusta.***\n",
    "\n",
    "\n",
    "## Yhteenvetävät huomiot ja laajempia kysymyksiä mietittäväksi\n",
    "\n",
    "Nyt ilmastodataharjoitus on suoritettu ja toivomme teidän oppineen uutta lämpötiladatan analyysista sekä datan prosessoinnista ilmastonmuutoksen kaltaisten asioiden näkemiseksi. Aiemmin on käyty läpi useampi lyhyempiä kysymyksiä, mutta nyt olisi tarkoitus miettiä vielä muutamia hieman laajempia kysymyksiä ilmastonmuutoksesta, ilmastodatasta ja datan visualisoinnista. Oikeita tai vääriä vastauksia ei sinällään ole, mutta joitain asioita mietittäväksi.\n",
    "\n",
    "1. Millaisia ongelmia syntyi, kun yritettiin mallintaa lämpenevää kehityssuuntaa paikallisessa ilmastossa Sodankylässä, käyttäen kaikkia mahdollisia päivälämpötiloja?\n",
    "2. Mitä haasteita ja etuja tuo lämpötila-anomalioiden käyttäminen pelkkien mitattujen lämpötilojen sijaan?\n",
    "3. Kuinka paljon keskilämpötila vaihtelee talvesta toiseen Sodankylässä? Ajatteletko tämän vaikeuttavan ilmastonmuutoksen huomaamista?\n",
    "4. Mitä mahdollisia haasteita voi olla ilmastonmuutoksesta kommunikoinnissa laajemmalla yleisölle? Miten argumentoisit ilmastonmuutoksen olemassaolon puolesta ja miten havainnollistaisit sitä?"
   ]
  }
 ],
 "metadata": {
  "celltoolbar": "Edit Metadata",
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}