J11.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 11. час: Учитавање табела из локалних датотека и из удаљених ресурса\n",
    "\n",
    "На овом часу ћемо говорити о:\n",
    "1. учитавању података из табела које су припремљене у формату _CSV_;\n",
    "2. учитавање података из удаљених ресурса; и\n",
    "3. транспоновање табеле."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 11.1. Учитавање података из локалних _CSV_ датотека\n",
    "\n",
    "Видели смо у претходним примерима да се најмукотрпнији посао обраде података састоји у томе да се подаци унесу у табелу. То је досадан посао који се често састоји у томе да се подаци просто прекуцају. Табеле са којима смо се сретали су зато биле веома мале. Модерна обрада података се, међутим, све више усмерава на анализу _огромних_ количина података (енгл. _big data_) и ту прекуцавање података не долази у обзир.\n",
    "\n",
    "Подаци се данас углавном прикупљају аутоматски, и програми за прикупљање података генеришу велике табеле података које после треба обрађивати. Постоје разни формати за табеларно представљање података, а најједноставнији од њих се зове _CSV_, (од енгл. _comma separated values_ што значи \"вредности раздвојене зарезима\").\n",
    "\n",
    "_CSV_ датотека је текстуална датотека у којој редови одговарају редовима табеле, а подаци унутар истог реда су раздвојени зарезима. На пример, у фолдеру _podaci_ се налази датотека _StanovnistvoSrbije2017.csv_ која изгледа овако:\n",
    "\n",
    "    Старост,Мушко,Женско\n",
    "    0,33145,31444\n",
    "    1,33252,31105\n",
    "    2,33807,31475\n",
    "    3,34076,31952\n",
    "    4,33436,31643\n",
    "    5,34278,32505\n",
    "    6,33773,31523\n",
    "    7,33892,32185\n",
    "    8,34706,32396\n",
    "    9,34519,32177\n",
    "    10,34017,32064\n",
    "    11,34947,33251\n",
    "    ... (итд) ...\n",
    "    84,11450,18529\n",
    "    85 и више,44817,78323\n",
    "\n",
    "Ова табела садржи процену броја становника Републике Србије по годинама на дан 31.12.2017. Први ред табеле представља заглавље табеле које нам каже да табела има три колоне (Старост, Мушко, Женско). Врста\n",
    "\n",
    "    7,33892,32185\n",
    "\n",
    "значи да се процењује да је 31.12.2017. у Србији било 33.892 седмогодишњих дечака и 32.185 седмогодишњих девојчица.\n",
    "\n",
    "Библиотека `pandas` има функцију `read_csv` која учитава _CSV_ датотеку и од ње прави табелу типа _DataFrame_. Ево примера:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "import pandas as pd\n",
    "stanovnistvo = pd.read_csv(\"podaci/StanovnistvoSrbije2017.csv\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Пошто је табела велика, приказаћемо само првих неколико редова. Функција `head(N)` приказује првих N редова табеле (енгл. _head_ значи \"глава\"):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "stanovnistvo.head(5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Функција `tail(N)` приказује последњих N редова табеле (енгл. _tail_ значи \"реп\"):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "stanovnistvo.tail(5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Табелу ћемо индексирати колоном \"Старост\":"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "stanovnistvo1 = stanovnistvo.set_index(\"Старост\")\n",
    "stanovnistvo1.head(5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "stanovnistvo1.tail(5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 11.2. Учитавање података из удаљених ресурса\n",
    "\n",
    "Могуће је преузети и податке са удаљених ресурса без потребе да се они прво пребаце на локалну машину. Да бисмо приступили податку који се налази на некој другој машини потребно је да обе машине имају приступ Интернету и да знамо тачну локацију податка на удаљеној машини. Тачна локација било ког ресурса на Интернету је описана његовим _URL_-ом (од енгл. _Universal Resource Locator_, што значи \"Универзални локатор ресурса\").\n",
    "\n",
    "На адреси\n",
    "\n",
    "    https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv\n",
    "    \n",
    "се налази јавно доступан списак свих држава на свету. Ову табелу можемо лако учитати наредбом `read_csv`:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "drzave = pd.read_csv(\"https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv\")\n",
    "drzave.head(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Помоћу наредбе `read_html` може се прочитати и табела директно из _HTML_ кода неке веб странице. Рецимо, следећа наредба чита списак свих федералних јединица Сједињених Америчких Држава са одговарајуће странице Википедије:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "US = pd.read_html(\"https://simple.wikipedia.org/wiki/List_of_U.S._states\", header=0)[0]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Наредба `read_html` враћа релативно сложену структуру, али табела коју желимо да видимо је прва у тој структури. Зато иза наредбе следи конструкт `[0]` који враћа прву компоненту сложене структуре. Аргумент `header=0` значи да прву врсту треба узети за заглавље табеле. Ево како изгледа табела:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "US"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 11.3. Транспоновање табеле\n",
    "\n",
    "Замена врста и колона табеле се зове _транспоновање_. Приликом транспоновања имена колона полазне табеле постају индекси нове табеле, док индексна колона полазне табеле одређује имена колона нове табеле:\n",
    "\n",
    "![Транспоновање](slike/DataFrame-T.jpg)\n",
    "\n",
    "Транспоновање се често користи када табела има мало веома дугачких редова, па је у неким ситуацијама лакше посматрати транспоновану табелу која онда има пуно релативно кратких редова. Функције `head` и `tail` нам тада омогућују да се брзо упознамо са почетком и крајем табеле и да стекнемо неку интуицију о томе како табела изгледа.\n",
    "\n",
    "Важно је рећи и то да се са табелама може радити и без транспоновања, јер све што можемо да урадимо на колонама табеле можемо да урадимо и на врстама. И поред тога, транспоновање се често користи јер је библиотека `pandas` оптимизована за рад по колонама табеле.\n",
    "\n",
    "Табела се транспонује тако што се на њу примени функција `Т` која као резултат враћа нову, транспоновану табелу.\n",
    "\n",
    "Ево примера са оценама:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "razred = [[\"Ана\",     5, 3, 5, 2, 4, 5],\n",
    "          [\"Бојан\",   5, 5, 5, 5, 5, 5],\n",
    "          [\"Влада\",   4, 5, 3, 4, 5, 4],\n",
    "          [\"Гордана\", 5, 5, 5, 5, 5, 5],\n",
    "          [\"Дејан\",   3, 4, 2, 3, 3, 4],\n",
    "          [\"Ђорђе\",   4, 5, 3, 4, 5, 4],\n",
    "          [\"Елена\",   3, 3, 3, 4, 2, 3],\n",
    "          [\"Жаклина\", 5, 5, 4, 5, 4, 5],\n",
    "          [\"Зоран\",   4, 5, 4, 4, 3, 5],\n",
    "          [\"Ивана\",   2, 2, 2, 2, 2, 5],\n",
    "          [\"Јасна\",   3, 4, 5, 4, 5, 5]]\n",
    "ocene = pd.DataFrame(razred)\n",
    "ocene.columns=[\"Име\", \"Српски\", \"Енглески\", \"Математика\", \"Физика\", \"Хемија\", \"Ликовно\"]\n",
    "ocene1 = ocene.set_index(\"Име\")\n",
    "ocene1"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Транспоновану табелу добијамо овако:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "ocene2 = ocene1.T\n",
    "ocene2"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Хајде још да се уверимо да су врсте и колоне замениле места и у пољима `index` и `columns`. У полазној табели је:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "ocene1.index"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "ocene1.columns"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "А у транспонованој табели је:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "ocene2.index"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "ocene2.columns"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Како смо раније већ видели, просек оцена по предметима добијамо лако:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "for predmet in ocene1.columns:\n",
    "    print(predmet, \"->\", ocene1[predmet].mean())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Да бисмо добили просек оцена по ученицима, можемо да приступимо врстама табеле користећи функцију `loc` како смо то већ видели, али можемо и да употребимо транспоновану табелу (рачунање просека по колонама, јер су колоне транспоноване табеле заправо врсте полазне табеле):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "for ucenik in ocene2.columns:\n",
    "    print(ucenik, \"->\", ocene2[ucenik].mean())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ево још једног примера. У фолдеру _podaci_ се налази датотека _TemperaturneAnomalije.csv_ која садржи податке о томе за колико степени Целзијуса је средња измерена температура на Земљи већа од оптималне у последњих 40 година. Ова табела има два дугачка реда који изгледају овако:\n",
    "\n",
    "    1977,1978,1979,1980,1981,...\n",
    "    0.22,0.14,0.15,0.3,0.37,...\n",
    "\n",
    "У првом реду се налазе године (1977-2017), а у другом измерена температурна аномалија. Видимо да табела нема заглавље. Зато ћемо је учитати на следећи начин:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "temp_anomalije = pd.read_csv(\"podaci/TemperaturneAnomalije.csv\", header = None)\n",
    "temp_anomalije"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Дакле, ако табела са подацима нема заглавље, приликом учитавања се то мора нагласити функцији `read_csv` тако што се наведе `header = None`.\n",
    "\n",
    "Да бисмо добили податке у облику који се лакше обрађује, транспоноваћемо табелу и онда ћемо колонама транспоноване табеле дати одговарајућа имена."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "temp_anomalije1 = temp_anomalije.T\n",
    "temp_anomalije1.columns = [\"Година\", \"Аномалија\"]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ево првих неколико редова табеле:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "temp_anomalije1.head(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Табелу ћемо индексирати колоном \"Година\":"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "temp_anomalije2 = temp_anomalije1.set_index(\"Година\")\n",
    "temp_anomalije2.head(5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Приказаћемо температурне аномалије дијаграмом:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "import matplotlib.pyplot as plt\n",
    "plt.figure(figsize=(15,5))\n",
    "plt.plot(temp_anomalije2.index, temp_anomalije2[\"Аномалија\"], color=\"r\")\n",
    "plt.title(\"Температурне аномалије у периоду 1977--2017\")\n",
    "plt.show()\n",
    "plt.close()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 11.4. Задаци"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задатак 1.** У фолдеру _podaci_ се налази датотека _StanovnistvoSrbije2017.csv_ (која има заглавље). Табела има три колоне које се зову \"Старост\", \"Мушко\" и \"Женско\".\n",
    "\n",
    "_(а)_ Учитај датотеку у структуру података _DataFrame_ и индексирај табелу колоном \"Старост\"."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_(б)_ Прикажи процењени број мушкараца и жена по старости линијским дијаграмом."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задатак 2.** Ученици једног разреда су скакали у даљ. Сваки ученик је скакао три пута и резултати су дати у датотеци _SkokUDalj.csv_ која се налази у фолдеру _podaci_. Табела има заглавље и састоји се од четири колоне: \"Презиме и име\", \"Скок1\", \"Скок2\" и \"Скок3\".\n",
    "\n",
    "_(а)_ Учитај датотеку у структуру података _DataFrame_."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_(б)_ Прикажи ове податке линијским дијаграмом који ће имати три линије, једна линија за сваки скок. Дијаграм треба да има легенду."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задатак 3.** На адреси\n",
    "\n",
    "    https://raw.githubusercontent.com/resbaz/r-novice-gapminder-files/master/data/gapminder-FiveYearData.csv\n",
    "\n",
    "се налази јавно доступна табела са списком држава света и неким параметрима економског развоја тих држава праћеним у интервалима од 5 година.\n",
    "\n",
    "Табела има следеће колоне:\n",
    "\n",
    "* country = држава\n",
    "* year = година на коју се односе подаци\n",
    "* pop = број становника (енгл. _population_)\n",
    "* continent = континент\n",
    "* lifeExp = очекивани животни век у годинама (енгл. _life expextancy_)\n",
    "* gdpPercap = БДП по глави становника у америчким доларима (енгл. _GDP per capitem_)\n",
    "\n",
    "Учитај ову табелу у структуру података _DataFrame_ и прикажи првих 20 редова табеле, као и последњих 10 редова табеле."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}