Aggregatie.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Aggregatie\n",
    "\n",
    "Met aggragatie bedoelen we het *samenvatten* van de gegevens van een aantal documenten in een enkele waarde.\n",
    "Voorbeelden van aggregatie-operatoren zijn: `sum` (en daarmee ook `count`), `avg`, `min`, `max`.\n",
    "(Dit zijn ook typische aggregatie-functies in spreadsheets.)\n",
    "Dit samenvatten combineren we vaak met *groepering*: we willen de samenvattende waarde per groep weten.\n",
    "\n",
    "> In SQL heb je voor aggregatie dezelfde functies zoals hierboven genoemd; \n",
    "  deze gebruik je in het SELECT-deel van de query. Voor groepering gebruik je GROUP BY.\n",
    "\n",
    "Voor meer informatie over aggregatie in MongoDB, zie: https://docs.mongodb.com/manual/aggregation\n",
    "\n",
    "Voor de aggregatie-voorbeelden gebruiken we naast de contacten-collection, ook een collection met agenda-items."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "De onderstaande opdracht is nodig als initialisatie in sommige omgevingen."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "os.environ[\"PATH\"]=os.environ[\"PATH\"] + \":/usr/local/bin\""
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "De gebruikelijke initialisatie:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import re\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "from IPython.core.display import display, HTML\n",
    "import pymongo\n",
    "\n",
    "pd.set_option('max_colwidth',160)\n",
    "\n",
    "userline = !echo $USER\n",
    "username = userline[0]\n",
    "dbname = username + \"-demodb\"\n",
    "print(\"Database name: \" + dbname)\n",
    "\n",
    "print('Mongo version', pymongo.__version__)\n",
    "client = pymongo.MongoClient('localhost', 27017)\n",
    "db = client[dbname]\n",
    "\n",
    "contacts = db.contacts\n",
    "contacts.drop()\n",
    "os.system('mongoimport -d ' + dbname + ' -c contacts adressen.json')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "list(contacts.find())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "agenda = db.agenda\n",
    "agenda.drop()\n",
    "os.system('mongoimport -d ' + dbname + ' -c agenda agenda.json')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "list(agenda.find())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Aggregatie in MongoDB: pijplijn\n",
    "\n",
    "De `colelction.aggregate`-functie heeft een lijst van parameters (`[ {...stap...}, ...]`).\n",
    "Elk element is deze lijst is een stap in een *pijplijn*,\n",
    "waarbij elke stap het resultaat van de vorige stap verder bewerkt.\n",
    "De eerste stap werkt op alle documenten in de *collection*.\n",
    "\n",
    "Zie ook de figuur in: https://docs.mongodb.com/manual/aggregation/#aggregation\n",
    "\n",
    "Als stap kun je onder andere de volgende functies gebruiken:\n",
    "\n",
    "* `$match`: selecteren (filteren) van documenten\n",
    "* `$group`: voor het groeperen en samenvatten van documenten\n",
    "* `$project`: selecteren van velden in de resultaat-documenten\n",
    "* `$lookup`: combineren van documenten uit verschillende collections (\"join\").\n",
    "\n",
    "Er zijn nog veel meer functies mogelijk in de aggregation-pijplijn,\n",
    "zie het MongoDB manual: https://docs.mongodb.com/manual/meta/aggregation-quick-reference/\n",
    "\n",
    "De `$lookup` en `$project` functies behandelen we in een volgend notebook."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Voorbeeld 1\n",
    "\n",
    "In het eerste voorbeeld tellen we het aantal contacten per plaats.\n",
    "We laten het `$match` query-document hier weg: we onderzoeken alle documenten in de collection.\n",
    "We groeperen per plaats (via de `_id`) en geven per plaats het aantal (`count`) dat we berekenen door 1 te sommeren voor alle documenten.\n",
    "\n",
    "Merk op dat je voor de veldnamen van het oorspronkelijke document **in het $group-deel een `$` schrijft.** Bijvoorbeeld: `$address.city`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "cursor = contacts.aggregate([{\"$group\":{\"_id\": \"$address.city\", \"count\": {\"$sum\": 1} }}])\n",
    "list(cursor)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Voorbeeld 2\n",
    "\n",
    "Voor het tweede voorbeeld gebruiken we de agenda-items.\n",
    "Bekijk eerst het bestand [agenda.json](agenda.json) om een indruk te krijgen van de gegevens in deze items.\n",
    "\n",
    "We willen weten hoeveel tijd we voor de verschillende onderwerpen (`subject`) in de agenda hebben staan.\n",
    "Merk op dat voor de veldnamen in het $group-deel een `$` geschreven is: `$subject` en `$duration`.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "cursor = agenda.aggregate([{\"$group\":{\"_id\": \"$subject\", \"count\": {\"$sum\": \"$duration\"} }}])\n",
    "list(cursor)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Opdracht\n",
    "\n",
    "Maak een query voor het bepalen van de totale tijd per vergaderlocatie."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Voorbeeld 3\n",
    "\n",
    "We gebruiken hier het `$match`-deel met een filter-document: we willen alleen de documenten waarvan de `participants` de persoon met email-adres: hdb@example.com bevat.\n",
    "Merk op dat dit een *normaal* filter-document is, als bij `collection.find`: de namen van de velden (properties) schrijf je hier zonder `$`.\n",
    "\n",
    "De totale vergadertijd per locatie met de persoon met email-adres: hdb@example.com:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "cursor = agenda.aggregate([{\"$match\": {\"participants\": { \"email\": \"hdb@example.com\"}}}, \n",
    "                           {\"$group\": {\"_id\": \"$location\", \"count\": {\"$sum\": \"$duration\"}}} ])\n",
    "list(cursor)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Opdracht\n",
    "\n",
    "Maak een query voor het bepalen van de totale tijd per vergaderlocatie, voor het onderwerp (subject) \"Beleidsplan\".\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}