formats.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "<div style=\"display: flex;\">\n",
    "  <div style=\"flex: 33%;\">\n",
    "      <img src=\"https://upload.wikimedia.org/wikipedia/commons/4/43/Emblema_Universidad_de_Sevilla.png\" width=150>\n",
    "  </div>\n",
    "  <div style=\"flex: 66%; margin: 1em; text-align: center;\">\n",
    "\n",
    "<h1> Máster Propio en Data Science y Big Data (IV Edición) </h1>\n",
    "<h2> Arquitecturas y Paradigmas para Ciencia del Dato (APCD) </h2>\n",
    "<h3> Tipos y Formatos de Datos </h3>\n",
    "  </div>\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Instructor\n",
    "<br/>\n",
    "<div style=\"display: flex;\">\n",
    "  <div style=\"flex: 50%;\">\n",
    "      <img src=\"https://www.dropbox.com/s/8u2cy57qpz4yx1y/profile_pic.jpg?raw=1\" width=200/>\n",
    "  </div>\n",
    "  <div style=\"flex: 50%;margin: 1em;\">\n",
    "      <b>Javier de la Rosa</b>, <a href=\"mailto:versae@linhd.uned.es\"><i>versae@linhd.uned.es</i></a>, <a href=\"https://twitter.com/versae\"><i>@versae</i></a>\n",
    "      <br />\n",
    "      <br />\n",
    "      <div style=\"padding-left: 1em;\">\n",
    "      Postdoctoral Researcher en el Proyecto Europeo POSTDATA de la UNED\n",
    "      <br />\n",
    "      PhD, Estudios Hispánicos y Humanidades Digitales, University of Western Ontario, Canada\n",
    "      <br />\n",
    "      Máster en Inteligencia Artificial, Universidad de Sevilla, España\n",
    "      <br />\n",
    "      <br />\n",
    "      Ex-Ingeniero de Investigación en la Stanford University, California\n",
    "      <br />\n",
    "      Ex-Director Técnico del laboratorio de investigación CulturePlex Lab en la University of Western Ontario, Canada\n",
    "      </div>\n",
    "  </div>\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Índice\n",
    "1. **Presentación de la asignatura**\n",
    "2. Introducción\n",
    "3. Tipos de datos\n",
    "4. Formato de datos\n",
    "5. Formatos de datos en Python\n",
    "6. Conclusiones\n",
    "7. Bibliografı́a"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Presentación\n",
    "\n",
    "Tópicos:\n",
    "- Tipos y formatos de datos\n",
    "- Técnicas de obtención y extracción de datos\n",
    "  - Scraping\n",
    "  - Expresiones regulares\n",
    "  - APIs\n",
    "- Control de versiones con GitHub y git\n",
    "- Bases de datos relacionales: SQL\n",
    "- Bases de datos no relacionales: MongoDB"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Índice\n",
    "1. Presentación de la asignatura\n",
    "2. **Introducción**\n",
    "3. Tipos de datos\n",
    "4. Formato de datos\n",
    "5. Formatos de datos en Python\n",
    "6. Conclusiones\n",
    "7. Bibliografı́a"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Introducción\n",
    "Un dato es una representación simbólica de un atributo o variable cuantitativa o cualitativa. Los datos describen hechos empı́ricos, sucesos y entidades.\n",
    "\n",
    "Para nosotros, los datos representan la información que una persona usa en la implementación de una solución.\n",
    "Los datos aisladamente pueden no contener información relevante.\n",
    "\n",
    "Sólo cuando un conjunto de datos se examina de manera conjunta y a la luz de un enfoque, hipótesis o teorı́a se puede apreciar la información contenida en dichos datos."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Introducción\n",
    "\n",
    "Los datos también nos sirven para poner en contexto ciertos elementos. Prácticamente todas las cosas que nos rodean tienen una serie de datos inherentes a ellas.\n",
    "\n",
    "Un ejemplo muy sencillo: nosotros mismos tenemos un nombre, apellidos, fecha de nacimiento, peso, altura, edad, nacionalidad..."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Índice\n",
    "\n",
    "1. Presentación de la asignatura\n",
    "2. Introducción\n",
    "3. **Tipos de datos**\n",
    "4. Formato de datos\n",
    "5. Formatos de datos en Python\n",
    "6. Conclusiones\n",
    "7. Bibliografı́a"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Tipos de datos\n",
    "\n",
    "Atendiendo a su naturaleza, los datos se pueden dividir en dos grandes categorı́as:\n",
    "- Datos cualitativos, que definen una cualidad. Entrevistas, estudios focales, observaciones, etc.\n",
    "- Datos cuantitativos, refereidos a cantidades numéricas. Cualquier información cuantificable: cuántos, con qué frecuencia, qué cantidad, etc."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Tipos de datos\n",
    "\n",
    "De acuerdo a su tipología:\n",
    "- Datos categóricos, cuyos valores sólo pueden ser una opción de entre varias disponibles: color del pelo, frecuencia cardíaca, tipo de precipitación, etc.\n",
    "- Datos discretos, con valores numéricos en el rango entero: edad, número de hijos, número compras mensual, etc.\n",
    "- Datos continuos, con valores que pueden tomar todo el rango real: salario medio, edad media, gasto anual, etc."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Tipos de datos\n",
    "\n",
    "Además, según su presentación hablamos de:\n",
    "- Datos estructurados\n",
    "\n",
    "- Datos no estructurados"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Tipos de datos\n",
    "\n",
    "Los datos estructurados son datos que tienen bien definidos su formato. Un ejemplo sencillo son los datos que almacenamos en las bases de datos relacionales.\n",
    "\n",
    "Los datos estructurados dependen de la creación de un modelo de datos. Un modelo de datos es un modelo que define las reglas que van a seguir nuestros datos para poder almacenarlos, procesarlos, etc."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Tipos de datos\n",
    "\n",
    "Trabajar con datos estructurados proporciona ciertas ventajas como: un orden en el almacenamiento de datos, el uso de consultas, análisis, etc.\n",
    "\n",
    "Históricamente, las máquinas han estado mejor equipadas para efectuar análisis con datos estructurados. Mientras que sólo se han proporcionado medios de almacenamiento para los no estructurados.\n",
    "\n",
    "Un modelo no es más que una simplificación de la realidad."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Tipos de datos\n",
    "\n",
    "Algunos ejemplos serı́an:\n",
    "- bases de datos\n",
    "- registros financieros y legales\n",
    "- datos económicos\n",
    "- registros del censo\n",
    "- catálogos de libros"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Tipos de datos\n",
    "\n",
    "Los datos no estructurados son datos en el formato tal y como fueron recolectados. Carecen de un formato especı́fico. No se pueden almacenar dentro de una tabla ya que no se puede desgranar su información a tipos básicos de datos.\n",
    "\n",
    "La mayor parte de los datos disponibles actualmente son datos no estructurados. De hecho, en nuestro trabajo como cientı́ficos de datos, la mayor parte de nuestro trabajo consistirá en recolectar esos datos no estructurados y seguidamente limpiar y extraer la información que nos interesa acorde al modelo de datos que hayamos definido."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Tipos de datos\n",
    "\n",
    "Algunos ejemplos serı́an:\n",
    "- fotografı́as e imágenes gráficas\n",
    "- vı́deos\n",
    "- streaming de datos de sensores\n",
    "- páginas web\n",
    "- archivos PDF\n",
    "- presentaciones de PowerPoint\n",
    "- correos electrónicos\n",
    "- blogs y wikis\n",
    "- documentos de texto"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Tipos de datos\n",
    "\n",
    "1. Presentación de la asignatura\n",
    "2. Introducción\n",
    "3. Tipos de datos\n",
    "4. **Formato de datos**\n",
    "5. Formatos de datos en Python\n",
    "6. Conclusiones\n",
    "7. Bibliografı́a"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Formats de datos\n",
    "\n",
    "Cuando hemos hablado de datos estructurados, hemos hablado de un modelo de datos donde definimos las reglas de nuestro conjunto de datos. Además, necesitaremos un formato para almacenar nuestra información relacionada con el modelo.\n",
    "\n",
    "Por ejemplo, en las bases de datos relacionales definimos tablas con columnas dependiendo de los atributos que componen nuestro modelo de datos."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Formats de datos\n",
    "\n",
    "Ejemplos de formatos:\n",
    "- JSON\n",
    "- CSV, TSV\n",
    "- XML, RDF"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Formats de datos\n",
    "\n",
    "Partimos de una tabla con la siguiente información:\n",
    "\n",
    "| artist | song | year |\n",
    "| --- | --- | --- |\n",
    "| Pearl Jam | Lightning Bolt | 2013 |\n",
    "| The Beatles | I've Just Seen A Face | 1965  |\n",
    "| Bruce Springsteen | Backstreets | 1975 |\n",
    "| Santana | Soul Sacrifice | 1969 |\n",
    "| Loverboy | Working for the Weekend | 1981 |\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Formato de datos - JSON\n",
    "\n",
    "JSON, acrónimo de JavaScript Object Notation, es un formato de texto ligero para el intercambio de datos.\n",
    "\n",
    "JSON es un subconjunto de la notación literal de objetos de JavaScript aunque hoy, debido a su amplia adopción, se considera un formato de lenguaje independiente."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Formato de datos - JSON\n",
    "```\n",
    "[\n",
    "    {\n",
    "        \"artist\": \"Pearl Jam\",\n",
    "        \"song\": \"Lightning Bolt\",\n",
    "        \"year\": 2013\n",
    "    },\n",
    "    {\n",
    "        \"artist\": \"The Beatles\",\n",
    "        \"song\": \"I’ve Just Seen A Face\",\n",
    "        \"year\": 1965\n",
    "    },\n",
    "    ...\n",
    "]\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Formato de datos - CSV\n",
    "\n",
    "Los archivos CSV (*comma-separated values*) son un tipo de documento para representar datos en forma de tabla.\n",
    "\n",
    "Las columnas se separan por comas y las filas por saltos de lı́nea.\n",
    "\n",
    "Los campos que contengan una coma, un salto de lı́nea o una comilla doble suelen ir encerrados entre comillas dobles.\n",
    "\n",
    "Sin embargo el formato es relativamente flexible: archivos separados por punto y coma en vez de por coma. Un ejemplo es cuando usamos la coma como separador decimal dentro de nuestro archivo."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Formato de datos - CSV\n",
    "```\n",
    "artist,song,year\n",
    "Pearl Jam,Lightning Bolt,2013\n",
    "The Beatles,Ive Just Seen A Face,1965\n",
    "Bruce Springsteen,Backstreets,1975\n",
    "Santana,Soul Sacrifice,1969\n",
    "Loverboy,Working for the Weekend,1981\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Formato de datos - TSV\n",
    "\n",
    "Un archivo TSV es un documento con la misma estructura que un archivo CSV con una diferencia especial: cada columna se separa por un carácter tabulador en vez de hacerlo por comas.\n",
    "\n",
    "En realidad, podemos usar carácteres especiales para separar las columnas de nuestro archivo de datos usando siempre la misma estructura que hemos visto para archivos CSV y TSV."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Formato de datos - TSV\n",
    "\n",
    "```\n",
    "artist\tsong\tyear\n",
    "Pearl Jam\tLightning Bolt\t2013\n",
    "The Beatles\tIve Just Seen A Face\t1965\n",
    "Bruce Springsteen\tBackstreets\t1975\n",
    "Santana\tSoul Sacrifice\t1969\n",
    "Loverboy\tWorking for the Weekend\t1981\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Formato de datos - XML\n",
    "\n",
    "XML, siglas en inglés de eXtensible Markup Language (”lenguaje de marcas Extensible”), es un lenguaje de marcas desarrollado por el World Wide Web Consortium (W3C) utilizado para almacenar datos en forma legible tanto por máquinas como por personas.\n",
    "\n",
    "XML no ha nacido sólo para su aplicación para en Internet, sino que se propone como un estándar para el intercambio de información estructurada entre diferentes plataformas."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Formato de datos - XML\n",
    "```xml\n",
    "<?xml version=\"1.0\"?>\n",
    "<ROWSET>\n",
    "<ROW artist=\"Pearl Jam\" song=\"Lightning Bolt\"\n",
    "year=\"2013\"></ROW>\n",
    "<ROW artist=\"The Beatles\" song=\"I&apos;ve Just Seen A\n",
    "Face\" year=\"1965\"></ROW>\n",
    "<ROW artist=\"Bruce Springsteen\" song=\"Backstreets\"\n",
    "year=\"1975\"></ROW>\n",
    "<ROW artist=\"Santana\" song=\"Soul Sacrifice\"\n",
    "year=\"1969\"></ROW>\n",
    "<ROW artist=\"Loverboy\" song=\"Working for the Weekend\"\n",
    "year=\"1981\"></ROW>\n",
    "</ROWSET>\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Formato de datos - XML\n",
    "```xml\n",
    "<?xml version=\"1.0\"?>\n",
    "<ROWSET>\n",
    "    <ROW>\n",
    "        <artist>Pearl Jam</artist>\n",
    "        <song>Lightning Bolt</song>\n",
    "        <year>2013</year>\n",
    "    </ROW>\n",
    "    <ROW>\n",
    "        <artist>The Beatles</artist>\n",
    "        <song>I&apos;ve Just Seen A Face</song>\n",
    "        <year>1965</year>\n",
    "    </ROW>\n",
    "    ...\n",
    "</ROWSET>\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Formato de datos - RDF\n",
    "\n",
    "El Marco de Descripción de Recursos (del inglés Resource Description Framework, RDF) es una familia de especificaciones de la World Wide Web Consortium (W3C) originalmente diseñado como un modelo de datos para metadatos.\n",
    "\n",
    "Ha llegado a ser usado como un método general para la descripción conceptual o modelado de la información que se implementa en los recursos web utilizando una variedad de notaciones de sintaxis."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Formato de datos - RDF\n",
    "```xml\n",
    "<?xml version=\"1.0\"?>\n",
    "<rdf:RDF\n",
    "xmlns:rdf=\"http://www.w3.org/1999/02/22-rdf-syntax-ns#\"\n",
    "xmlns:si=\"http://www.w3schools.com/rdf/\">\n",
    "    <rdf:Description\n",
    "    rdf:about=\"http://www.w3schools.com/rdf/\">\n",
    "        <music:artist>Bob Dylan</music:artist>\n",
    "        <music:song>USA</music:song>\n",
    "        <music:year>Columbia</music:year>\n",
    "    </rdf:Description>\n",
    "    <rdf:Description\n",
    "    rdf:about=\"http://www.w3schools.com/rdf/\">\n",
    "        <music:artist>Bob Dylan</music:artist>\n",
    "        <music:song>USA</music:song>\n",
    "        <music:year>Columbia</music:year>\n",
    "    </rdf:Description>\n",
    "    ...\n",
    "</rdf:RDF>\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Índice\n",
    "1. Presentación de la asignatura\n",
    "2. Introducción\n",
    "3. Tipos de datos\n",
    "4. Formato de datos\n",
    "5. **Formatos de datos en Python**\n",
    "6. Conclusiones\n",
    "7. Bibliografı́a"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Formatos de datos en Python\n",
    "\n",
    "A lo largo del curso hemos visto algunas librerı́as para trabajar con tipos de datos en Python, por ejemplo pandas.\n",
    "\n",
    "Además de Pandas, existen librerı́as especializadas para trabajar con formatos de datos especı́ficos.\n",
    "\n",
    "En nuestro caso veremos las librerı́as (también llamados módulos o paquetes):\n",
    "- `csv`\n",
    "- `json`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### CSV\n",
    "Gracias a la facilidad de uso de Python podrı́amos recorrer las lı́neas de un archivo CSV e ir obteniendo los datos lı́nea por lı́nea.\n",
    "\n",
    "El paquete csv está enfocado en facilitar el trabajo con archivos CSV. Por ejemplo, gracias a este paquete podemos evitar todo el trabajo manual de ir separando los datos lı́nea por lı́nea.\n",
    "\n",
    "Además, debido a que no hay un estándar, este paquete ofrece soporte para trabajar con archivos CSV definidos con distintos parámetros (carácteres de separación de la información, definición de cadenas de texto, etc.)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### CSV\n",
    "\n",
    "El paquete CSV ofrece la siguiente serie de funciones:\n",
    "- csv.reader\n",
    "- csv.writer\n",
    "- csv.register_dialect\n",
    "- csv.unregister_dialect\n",
    "- csv.get_dialect\n",
    "- csv.list_dialects\n",
    "- csv.field_size_limit\n",
    "\n",
    "Nosotros nos centraremos solamente en las funciones `reader` y `writer`. Además del paquete `csv`, existe otro paquete llamado `unicodecsv` que trata correctamente cadenas unicode. Más información del paquete:\n",
    "https://docs.python.org/2/library/csv.html"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### CSV - Ejemplo\n",
    "```\n",
    "Title,Release Date,Director\n",
    "And Now For Something Completely Different,1971,Ian\n",
    "MacNaughton\n",
    "Monty Python And The Holy Grail,1975,Terry Gilliam and\n",
    "Terry Jones\n",
    "Monty Pythons Life Of Brian,1979,Terry Jones\n",
    "Monty Python Live At The Hollywood Bowl,1982,Terry Hughes\n",
    "Monty Pythons The Meaning Of Life,1983,Terry Jones\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [],
   "source": [
    "### CSV\n",
    "\n",
    "contenido = \"\"\"Title,Release Date,Director\n",
    "And Now For Something Completely Different,1971,Ian MacNaughton\n",
    "Monty Python And The Holy Grail,1975,Terry Gilliam and Terry Jones\n",
    "Monty Pythons Life Of Brian,1979,Terry Jones\n",
    "Monty Python Live At The Hollywood Bowl,1982,Terry Hughes\n",
    "Monty Pythons The Meaning Of Life,1983,Terry Jones\"\"\"\n",
    "with open(\"fichero.csv\", \"w\", encoding=\"utf8\") as f:\n",
    "    f.write(contenido)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [],
   "source": [
    "### CSV\n",
    "\n",
    "import csv\n",
    "\n",
    "with open(\"fichero.csv\", \"r\") as f:\n",
    "    reader = csv.reader(f)\n",
    "    for row in reader:\n",
    "        print(row)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [],
   "source": [
    "### CSV\n",
    "\n",
    "import csv\n",
    "\n",
    "my_file = open(\"fichero.csv\", \"r\")\n",
    "reader = csv.reader(my_file)\n",
    "for row_num, row in enumerate(reader):\n",
    "    # The row 0 is the header\n",
    "    if row_num == 0:\n",
    "        header = row\n",
    "        continue\n",
    "    for col_num, col in enumerate(row):\n",
    "        print(\"{}: {}\".format(header[col_num], col))\n",
    "    print()\n",
    "my_file.close()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [],
   "source": [
    "### CSV\n",
    "\n",
    "import csv\n",
    "\n",
    "read_file = open(\"fichero.csv\", \"r\")\n",
    "reader = csv.reader(read_file)\n",
    "write_file = open(\"nuevo_fichero.csv\", \"w\")\n",
    "writer = csv.writer(\n",
    "    write_file, delimiter=\"|\", quotechar='\"', quoting=csv.QUOTE_ALL\n",
    ")\n",
    "for row in reader:\n",
    "    writer.writerow(row)\n",
    "read_file.close()\n",
    "write_file.close()\n",
    "!cat nuevo_fichero.csv"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### JSON\n",
    "\n",
    "El otro paquete con el que vamos a trabajar es json. Este paquete proporciona métodos para cargar y transformar objetos Python a JSON y viceversa.\n",
    "\n",
    "Es muy común encontrarse el uso de este paquete en proyectos Python debido al gran uso de esta notación para la comunicación de datos en diversos contextos como proyectos web (cliente-servidor), proyectos de datos, etc."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### JSON\n",
    "\n",
    "El paquete json ofrece la siguiente serie de funciones:\n",
    "- `json.dump`\n",
    "- `json.dumps`\n",
    "- `json.load`\n",
    "- `json.loads`\n",
    "- encoders y decoders\n",
    "\n",
    "Para conocer todo lo que el módulo nos ofrece: https://docs.python.org/2/library/json.html"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [],
   "source": [
    "### JSON\n",
    "\n",
    "movies = []\n",
    "movie1 = {}\n",
    "movie1[\"Title\"] = \"And Now For Something Completely Different\"\n",
    "movie1[\"Release Date\"] = 1971\n",
    "movie1[\"Director\"] = \"Ian MacNaughton\"\n",
    "movies.append(movie1)\n",
    "movie2 = {}\n",
    "movie2[\"Title\"] = \"Monty Python And The Holy Grail\"\n",
    "movie2[\"Release Date\"] = 1975\n",
    "movie2[\"Director\"] = \"Terry Gilliam and Terry Jones\"\n",
    "movies.append(movie2)\n",
    "movies"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [],
   "source": [
    "### JSON\n",
    "import json\n",
    "\n",
    "print(json.dumps(movies))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [],
   "source": [
    "### JSON\n",
    "\n",
    "print(json.dumps(movies, indent=4))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [],
   "source": [
    "### JSON\n",
    "\n",
    "print(json.dumps({\"c\": 0, \"b\": 0, \"a\": 0}, sort_keys=True))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [],
   "source": [
    "### JSON\n",
    "\n",
    "encoded = json.dumps(movies)\n",
    "decoded = json.loads(encoded)\n",
    "print(encoded)\n",
    "print(decoded)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [],
   "source": [
    "### JSON\n",
    "\n",
    "with open(\"json_example.json\", \"w\") as outfile:\n",
    "    json.dump(movies, outfile)\n",
    "\n",
    "with open(\"json_example.json\") as json_file:\n",
    "    json_data = json.load(json_file)\n",
    "print(json_data)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "<div style=\"font-size: 1em; margin: 1em 0 1em 0; border: 1px solid #86989B; background-color: #f7f7f7; padding: 0;\">\n",
    "<p style=\"margin: 0; padding: 0.1em 0 0.1em 0.5em; color: white; border-bottom: 1px solid #86989B; font-weight: bold; background-color: #AFC1C4;\">\n",
    "Ejercicio\n",
    "</p>\n",
    "<p style=\"margin: 0.5em 1em 0.5em 1em; padding: 0;\">\n",
    "JSON Lines es un formato de fichero muy usado en streaming en el que cada línea es un fichero JSON.\n",
    "\n",
    "Escriba una función, `read_jsonl` para leer un fichero de tipo jsonl y devolverlo como una lista Python.\n",
    "</p>\n",
    "</div>\n",
    "<details>\n",
    "<summary>Solución</summary>\n",
    "<code>\n",
    "def read_jsonl(jsonl):\n",
    "    # Escriba su solución aquí\n",
    "    with open(jsonl, \"r\") as f:\n",
    "        print([json.loads(l) for l in f.read().split(\"\\n\")])\n",
    "</code>\n",
    "</details>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "outputs": [],
   "source": [
    "jsonl = \"\"\"{\"name\": \"Gilbert\", \"wins\": [[\"straight\", \"7♣\"], [\"one pair\", \"10♥\"]]}\n",
    "{\"name\": \"Alexa\", \"wins\": [[\"two pair\", \"4♠\"], [\"two pair\", \"9♠\"]]}\n",
    "{\"name\": \"May\", \"wins\": []}\n",
    "{\"name\": \"Deloise\", \"wins\": [[\"three of a kind\", \"5♣\"]]}\"\"\"\n",
    "with open(\"jsonl_example.jsonl\", \"w\") as f:\n",
    "    f.write(jsonl)\n",
    "\n",
    "def read_jsonl(jsonl):\n",
    "    # Escriba su solución aquí\n",
    "    pass\n",
    "\n",
    "read_jsonl(\"jsonl_example.jsonl\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Pandas\n",
    "\n",
    "Otra manera de manipular datos es usando Pandas, que soporta CSV, JSON, JSONL, etc."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Índice\n",
    "1. Presentación de la asignatura\n",
    "2. Introducción\n",
    "3. Tipos de datos\n",
    "4. Formato de datos\n",
    "5. Formatos de datos en Python\n",
    "6. **Conclusiones**\n",
    "7. Bibliografı́a"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Conclusiones\n",
    "\n",
    "Podemos dividir los tipos de datos en dos grandes conjuntos: datos estructurados y datos no estructurados\n",
    "La mayorı́a de los datos que nos vamos a encontrar son datos no estructurados.\n",
    "\n",
    "Hemos visto cinco posibles formatos de datos: JSON, CSV, TSV, RDF y XML.\n",
    "\n",
    "Hemos conocido dos nuevos módulos para trabajar con tipos de datos en Python: `csv` y `json`."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Índice\n",
    "\n",
    "1. Presentación de la asignatura\n",
    "2. Introducción\n",
    "3. Tipos de datos\n",
    "4. Formato de datos\n",
    "5. Formatos de datos en Python\n",
    "6. Conclusiones\n",
    "7. **Bibliografı́a**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Bibliografía\n",
    "\n",
    "- Data Science from scratch, by Joel Grus, O’reilly, 2015\n",
    "- https://es.wikipedia.org/wiki/Dato\n",
    "- https://es.wikipedia.org/wiki/Big_data\n",
    "- https://es.wikipedia.org/wiki/JSON\n",
    "- https://es.wikipedia.org/wiki/CSV\n",
    "- https://en.wikipedia.org/wiki/Tab-separated_values\n",
    "- https://es.wikipedia.org/wiki/Resource_Description_Framework"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Bibliografía\n",
    "\n",
    "- https://es.wikipedia.org/wiki/Extensible_Markup_Language\n",
    "- http://es.schoolofdata.org/que-es-un-dat/\n",
    "- https://pymotw.com/2/json/\n",
    "- http://www.webopedia.com/TERM/S/structured_data.html, Copyright 1999-2016 QuinStreet, Inc. All rights reserved.\n",
    "- http://www.pythonforbeginners.com/systems-programming/using-the-csv-module-in-python/\n",
    "- https://github.com/fivethirtyeight/data/blob/master/classic-rock/classic-rock-song-list.csv"
   ]
  }
 ],
 "metadata": {
  "celltoolbar": "Slideshow",
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.5"
  },
  "rise": {
   "enable_chalkboard": true,
   "footer": "<div style='width: 50%;display: inline-block;color: white;background-color: black;text-align: right;padding: .5em;font-size: 1.2em;'>Máster Propio en Data Science y Big Data</div><div style='width: 50%;display: inline-block;color: white;background-color: #3333B3;text-align: left;padding: .5em;font-size: 1.2em;'>Arquitecturas y paradigmas para Ciencia del Dato</div></div>",
   "scroll": true,
   "start_slideshow_at": "selected"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}