Connect.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Connect: verbinding met de database\n",
    "\n",
    "In dit notebook introduceren we een eenvoudige database voor contactgegevens van personen.\n",
    "Deze contactgegevens verschillen sterk van persoon tot persoon: daardoor zijn deze eenvoudiger in een MongoDB-document te beschrijven dan in een relationele database.\n",
    "\n",
    "Als voorbeeld-inhoud van de database gebruiken we het bestand `adressen.json`. \n",
    "Dit voorbeeld geeft ook een goed inzicht in de grote verschillen tussen de contact-documenten.\n",
    "\n",
    "MongoDB gebruikt een iets andere termoinologie dan relationele databases.\n",
    "De overeenkomsten zijn *ongeveer*:\n",
    "\n",
    "| SQL (relationele DB) | MongoDB    |\n",
    "| :--:                 | :--:       |\n",
    "| table                | collection |\n",
    "| row (record)         | document   |\n",
    "\n",
    "Een document komt (ongeveer) overeen met een JSON-object.\n",
    "`pymongo` zet dit automatisch om in een Python dictionary (en omgekeerd).\n",
    "Voor Python objecten, JSON objecten en MongoDB documenten geldt dat deze bijna ongelimiteerd complex kunnen zijn: een element van een object kan weer een object zijn, of een array - mogelijk van objecten, enz.\n",
    "Dit is een belangrijk verschil met SQL records (rows): dit zijn \"platte\" objecten waarvan de velden elementaire datatypes zijn.\n",
    "\n",
    "Als Jupyter Notebooks nieuw voor je zijn, ga dan eerst naar [Inleiding Jupyter](Inleiding-Jupyter.ipynb)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "De onderstaande opdracht is nodig als initialisatie in sommige omgevingen."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "os.environ[\"PATH\"]=os.environ[\"PATH\"] + \":/usr/local/bin\""
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## imports\n",
    "\n",
    "We gebruiken de volgende Python packages:\n",
    "\n",
    "- `os` - voor interactie met het operating system\n",
    "- `re` - reguliere expressies, o.a. voor wildcards (jokers) in zoekopdrachten\n",
    "- `pandas`, `numpy` - voor het werken met tabellen\n",
    "- `IPython.core.display` - voor het weergeven van resultaten"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import re\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "from IPython.core.display import display, HTML"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Pymongo\n",
    "\n",
    "pymongo is de \"driver\" voor MongoDB vanuit Python.\n",
    "De documentatie hiervan vind je via: https://api.mongodb.com/python/current/\n",
    "MongoDB en pymongo zijn hier al geïnstalleerd."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pymongo\n",
    "print('Mongo version', pymongo.__version__)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Databasenaam\n",
    "\n",
    "We leiden de naam van de database af van de naam van de gebruiker.\n",
    "Hiermee voorkomen we dat de gebruikers van hetzelfde database-managament-systeem elkaar in de weg zitten.\n",
    "De naam van de gebruiker krijgen we via de shell-opdracht `echo $USER`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "userline = !echo $USER\n",
    "username = userline[0]\n",
    "dbname = username + \"-demodb\"\n",
    "dbname"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Verbinding met de database\n",
    "\n",
    "De eerste stap is om verbinding te maken met MongoDB, en met de *demo*-database.\n",
    "In dit geval hebben we geen speciale autorisatie nodig; in de praktijk is dat meestal wel nodig.\n",
    "In deze database gebruikenn we voorlopig maar één collection: *contacts*"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "client = pymongo.MongoClient('localhost', 27017)\n",
    "db = client[dbname]\n",
    "collection = db.contacts"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Voorbeeld-data\n",
    "\n",
    "We importeren de voorbeeld-data uit een tekstbestand in JSON-formaat.\n",
    "Dit tekstformaat is geschikt voor het uitwisselen van *objecten*.\n",
    "Voor allerlei programmeertalen bestaan er libraries om objecten in dit formaat in te lezen of weg te schrijven.\n",
    "\n",
    "**Opdracht** bekijk het bestand `addressen.json`, met behulp van de opdracht `!cat adressen.json` in de onderstaande code-cel.\n",
    "Geef een voorbeeld van de contactgegevens van een persoon in dit formaat, met telefoonnummer, adres, en email-adres.\n",
    "\n",
    "**Opdracht** hoe zou je aan kunnen geven dat een persoon meerdere telefoonnummers heeft? \n",
    "(NB: dit is lastig; hier komen we later op terug.)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Inlezen van de voorbeeld-data\n",
    "\n",
    "Via de (shell)opdracht `mongoimport` importeren we de voorbeeld-data in de collection `contacts` van de database `demo`.\n",
    "Als de opdracht gelukt is krijg je 0 als resultaat; een andere waarde geeft een foutcode aan.\n",
    "\n",
    "*Opmerking* het bestand ``mongopath`` bevat het pad van de map waarin de opdracht ``mongoimport`` te vinden is. Dit pad moet aan de lokale installatie aangepast zijn."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "collection.drop()\n",
    "os.system('mongoimport -d ' + dbname + ' -c contacts adressen.json')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Query: alle elementen\n",
    "\n",
    "De eenvoudigste zoekopdracht is om alle documenten in de collection te vinden.\n",
    "Deze drukken we vervolgens af.\n",
    "\n",
    "> We kunnen het resultaat ook als Python-lijst krijgen, maar de *cursor*-constructie is geschikter voor grote hoeveelheden documenten. Je kunt dan document voor document behandelen (wat we hier ook eigenlijk doen).\n",
    "\n",
    "> Het `_id`-veld is de *key* van het document (record) in de collection."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "cursor = collection.find()\n",
    "for obj in cursor:\n",
    "    print(obj['name'])\n",
    "    print(obj)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Vervolg\n",
    "\n",
    "* [Find](Find.ipynb) - queries voor het terugzoeken van gegevens."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}