04-microprojet.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Microprojet\n",
    "\n",
    "![](fig/python-logo.png)\n",
    "\n",
    "- Objectif pédagogique\n",
    "- Exercice\n",
    "\n",
    "***\n",
    "\n",
    "*Contenu sous licence [CC BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0), largement inspiré de <https://fitzinger.gitlab.io/formation-python>*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Objectif pédagogique\n",
    "\n",
    "- Utiliser les modules de la bibliothèque standard pour récupérer des données via un service web.\n",
    "- Manipuler les dictionnaires et les chaînes de caractères\n",
    "- Utiliser la librairie de tracés graphiques matplotlib\n",
    "- Utiliser un IDE (Spyder)\n",
    "- Exécution en script\n",
    "- Gestion des arguments"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Exercice\n",
    "\n",
    "Exploiter les données du site [http://www.prevision-meteo.ch](http://www.prevision-meteo.ch) pour tracer l'évolution horaire de la température à Strasbourg aujourd'hui.\n",
    "\n",
    " ![](fig/icon.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "## Ouverture du fichier de prévisions\n",
    "\n",
    "Le site [http://www.prevision-meteo.ch](http://www.prevision-meteo.ch) fournit des prévisions sous forme de fichier au format [json](https://fr.wikipedia.org/wiki/JavaScript_Object_Notation). On veut récupérer les données relatives à Strasbourg avec la méthode ``urlopen()`` du module ``urllib.request``."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "%config InlineBackend.figure_format = 'retina'\n",
    "%matplotlib inline\n",
    "from urllib.request import urlopen\n",
    "\n",
    "jsonfile_url = \"https://www.prevision-meteo.ch/services/json/Strasbourg\"\n",
    "try:\n",
    "    f = urlopen(jsonfile_url, timeout=10)  # open url\n",
    "except:\n",
    "    print(\"Le téléchargement a échoué : on lit une version locale.\")\n",
    "    f = open(\"exos/Strasbourg.json\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "## Chargement du fichier json ouvert"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "La méthode ``json.loads()`` permet de charger un fichier json comme un dictionnaire python :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "jsondict = json.loads(f.read())  # Read JSON file"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "## Exploration des données\n",
    "\n",
    "On commence naïvement par afficher le contenu du fichier :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "print(type(jsondict))\n",
    "print(jsondict)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "On essaie de faire mieux en affichant uniquement les clés du dictionnaire :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "for k in jsondict:\n",
    "    print(k)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "On est intéressé par le temps d'aujourd'hui :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "day = jsondict['fcst_day_0']\n",
    "print(day)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Là aussi, on cherche les clés :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "for k in day:\n",
    "    print(k)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vérifions qu'il s'agit d'aujourd'hui :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "print(day['day_long'], day['date'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "C'est bon !\n",
    "Maintenant, une entrée particulière nous intéresse :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "day_hd = day['hourly_data']\n",
    "for k in day_hd:\n",
    "    print(k)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Regardons ce que contient une 'hourly_data' :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "for k in day_hd['8H00']:\n",
    "    print(k)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "La clé qui nous intéresse est la chaîne ``'TMP2m'`` qui correspond à la température à 2m du sol."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "hour = '12H00'\n",
    "print(\"Aujourd'hui à {}, il fera : {} deg. C.\".format(hour, day_hd[hour]['TMP2m']))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "-"
    }
   },
   "source": [
    "Sauver ces lignes de commandes dans le fichier ``today_stras.py`` en allant de l'exécution 1 au compteur d'exécution courant indiqué dans la cellule de code ci-dessus ``In [XX]``. Dans le cas présent :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "%save today_stras.py 1-10"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Tracé de la température\n",
    "\n",
    "1. Ouvrir le fichier ``today_stras.py`` dans Spyder et nettoyer les ``print`` inutiles.\n",
    "2. Exécutez le code dans Spyder et utilisez la fenêtre \"Variable explorer\" en haut à droite pour parcourir les données de votre dictionnaire.\n",
    "3. Extraire la liste des couples ``(hour, temperature)`` où :\n",
    "    - ``hour`` est un entier\n",
    "    - ``temperature`` est un flottant\n",
    "4. ordonner la liste selon les heures croissantes\n",
    "5. convertir la liste en un *numpy array* ``t`` avec la méthode ``numpy.array()``\n",
    "6. Transposer ``t`` pour obtenir le tableau ``[[liste of hours], [list of temperatures]]``\n",
    "7. réaliser un tracé matplotlib en suivant [ce tutoriel](http://matplotlib.org/users/pyplot_tutorial.html) ou en intégrant les lignes de code suivantes : "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "outputs": [],
   "source": [
    "import matplotlib.pyplot as plt  # To be placed at the top of python file\n",
    "\n",
    "# [Your previous code...]\n",
    "\n",
    "# Plot T = T(hour)\n",
    "fig = plt.figure()  # initialise figure\n",
    "title = \"{} {}\".format(day_of_the_week, date_of_today)\n",
    "fig.suptitle(title, fontsize=14, fontweight='bold')\n",
    "\n",
    "ax = fig.add_subplot(111)  # initialise a plot area\n",
    "fig.subplots_adjust(top=0.85)\n",
    "ax.set_title('Day temperature')\n",
    "ax.set_xlabel('Time [h]')\n",
    "ax.set_ylabel('Temperature [deg. C]')\n",
    "\n",
    "ax.plot(t[0], t[1])  # plot t[1] (tempe) as a function of t[0] (hour)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "-"
    },
    "solution2": "hidden",
    "solution2_first": true
   },
   "source": [
    "> **Option :** intégrer l'icone de la météo du jour en utilisant le module ``matplotlib.image``"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "solution2": "hidden"
   },
   "source": [
    "Pas si vite ! Êtes-vous sûr ? Vraiment ?  \n",
    "Alors rendez-vous dans [exos/meteo_json.py](exos/meteo_json.py)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    },
    "solution2": "hidden",
    "solution2_first": true
   },
   "source": [
    "## Exercice sur les fonctions\n",
    "\n",
    "Modifiez le programme météo en créant une fonction qui admet un des jours disponibles comme argument (aujourd'hui, demain, après-demain...)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "-"
    },
    "solution2": "hidden"
   },
   "source": [
    "Pas si vite ! Êtes-vous sûr ? Vraiment ?  \n",
    "Alors allez voir une proposition de solution dans [exos/meteo_json_func.py](exos/meteo_json_func.py)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Exécution en script\n",
    "\n",
    "Pour pouvoir exécuter ce fichier en mode script\n",
    "\n",
    "- Ajouter en première ligne du fichier: `#! python3`\n",
    "- Rendez le fichier exécutable: `chmod a+x today_stras.py`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# pour permettre le tracé de la figure dans le notebook :\n",
    "%matplotlib inline\n",
    "\n",
    "# équivalent à exécuter la commande :\n",
    "#    python3 exos/meteo_json.py\n",
    "# depuis le terminal système\n",
    "%run exos/meteo_json.py"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### Utilisation de `if __name__ == '__main__':`\n",
    "\n",
    "Dans un fichier python `mon_module.py`, on souhaite généralement différencier :\n",
    "- le code exécuté lors d'un import du fichier comme un module dans un autre programme avec `import mon_module`\n",
    "- le code éxécuté lorsque le fichier est appelé directement comme un script depuis le système : `python mon_module.py`\n",
    "\n",
    "\n",
    "Pour ce faire, on utilise la variable `__name__` de la façon suivante :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "-"
    }
   },
   "outputs": [],
   "source": [
    "#! python3\n",
    "\n",
    "def une_fonction_utile():\n",
    "    return 'je suis utile'\n",
    "\n",
    "def main():\n",
    "    print('je suis dans {}'.format(__name__))\n",
    "\n",
    "if __name__ == '__main__':\n",
    "    main()\n",
    "else:\n",
    "    # En mode module importé, on ne fait rien de plus\n",
    "    pass"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Gestion des arguments\n",
    "\n",
    "Pour pouvoir passer des arguments en ligne de commande, on peut utiliser le module [`argparse`](https://docs.python.org/3/library/argparse.html).\n",
    "\n",
    "Un tutoriel est disponible [ici](https://docs.python.org/3/howto/argparse.html#argparse-tutorial)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import argparse\n",
    "\n",
    "parser = argparse.ArgumentParser(description='Process some integers.')\n",
    "parser.add_argument('integers', metavar='N', type=int, nargs='+',\n",
    "                    help='an integer for the accumulator')\n",
    "parser.add_argument('--sum', dest='accumulate', action='store_const',\n",
    "                    const=sum, default=max,\n",
    "                    help='sum the integers (default: find the max)')\n",
    "print(type(parser))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Sans \"--sum\"\n",
    "args = parser.parse_args(['2', '5'])\n",
    "print(args.accumulate(args.integers))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "outputs": [],
   "source": [
    "# Avec \"--sum\"\n",
    "args = parser.parse_args(['--sum', '2', '5'])\n",
    "print(args.accumulate(args.integers))\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Certains arguments existent déjà\n",
    "try:\n",
    "    parser.parse_args(['--help'])\n",
    "except SystemExit:\n",
    "    # Pour éviter une erreur dans jupyter-notebook\n",
    "    pass"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    },
    "solution2": "hidden",
    "solution2_first": true
   },
   "source": [
    "## Exercice\n",
    "\n",
    "Modifiez le programme météo pour qu'il prenne le(s) nom(s) de ville en argument(s) en utilisant le module ``argparse``"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    },
    "solution2": "hidden"
   },
   "source": [
    "Pas si vite ! Êtes-vous sûr ? Vraiment ?  \n",
    "Alors allez voir une proposition de solution dans [exos/meteo_json_func_args.py](exos/meteo_json_func_args.py)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "solution2": "hidden"
   },
   "outputs": [],
   "source": [
    "%run exos/meteo_json_func_args.py Marseille -d 3"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "## Suite de l'exercice\n",
    "\n",
    "- Laissez libre cours à vos idées et envies, par exemple :\n",
    "    - en cherchant à tracer l'évolution horaire de la température dans les 5 prochains jours\n",
    "    - etc.\n",
    "\n",
    "- Dans Spyder :\n",
    "    - testez le système de debugging\n",
    "    - testez le profiler\n",
    "\n",
    "> À vous de faire la pluie et le beau temps !"
   ]
  }
 ],
 "metadata": {
  "celltoolbar": "Slideshow",
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": true,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {
    "height": "calc(100% - 180px)",
    "left": "10px",
    "top": "150px",
    "width": "413.993px"
   },
   "toc_section_display": true,
   "toc_window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}