02 - RDD RESILENT DISTRIBUTED DATASETS.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![RDDs](media/03.rdd_partition.png)\n",
    "\n",
    "# 02 - RDD: RESILENT DISTRIBUTED DATASETS"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Colección inmutable y distribuida de elementos que pueden manipularse en paralelo\n",
    "\n",
    "Un programa Spark opera sobre RDDs:\n",
    "\n",
    "Spark automáticamente distribuye los datos y paraleliza las operaciones"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Requirement already satisfied: pyspark in /home/xergioalex/Envs/tensorflow/lib/python3.5/site-packages\n",
      "Requirement already satisfied: py4j==0.10.7 in /home/xergioalex/Envs/tensorflow/lib/python3.5/site-packages (from pyspark)\n",
      "\u001b[33mYou are using pip version 9.0.1, however version 18.0 is available.\n",
      "You should consider upgrading via the 'pip install --upgrade pip' command.\u001b[0m\n"
     ]
    }
   ],
   "source": [
    "!pip install pyspark"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Create apache spark context\n",
    "from pyspark import SparkContext\n",
    "sc = SparkContext(master=\"local\", appName=\"Mi app\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Stop apache spark context\n",
    "sc.stop()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Creación de RDDs\n",
    "\n",
    "Se pueden crear de dos formas:\n",
    "1. Paralelizando una colección en el programa driver\n",
    "2. Leyendo datos de un fichero"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "rdd1:  [[1, 2, 3]]\n",
      "rdd2:  [[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99]]\n"
     ]
    }
   ],
   "source": [
    "# 1. Paralelizando una colección en el programa driver\n",
    "rdd1 = sc.parallelize([1,2,3])\n",
    "print(\"rdd1: \", rdd1.glom().collect())\n",
    "\n",
    "import numpy as np\n",
    "rdd2 = sc.parallelize(np.array(range(100)))\n",
    "print(\"rdd2: \", rdd2.glom().collect())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['The Project Gutenberg EBook of Don Quijote, by Miguel de Cervantes Saavedra', '', 'This eBook is for the use of anyone anywhere at no cost and with', 'almost no restrictions whatsoever.  You may copy it, give it away or', 're-use it under the terms of the Project Gutenberg License included', 'with this eBook or online at www.gutenberg.net', '', '', 'Title: Don Quijote', '', 'Author: Miguel de Cervantes Saavedra', '', 'Posting Date: April 27, 2010 [EBook #2000]', 'Release Date: December, 1999', '', 'Language: Spanish', '', '', '*** START OF THIS PROJECT GUTENBERG EBOOK DON QUIJOTE ***', '', '', '', '', 'Produced by an anonymous Project Gutenberg volunteer. Text', 'file corrections and new HTML file by Joaquin Cuenca Abela.', '', '', '', '', '', '', '', '', '', '', '', 'El ingenioso hidalgo don Quijote de la Mancha', '', '', 'TASA', '', 'Yo, Juan Gallo de Andrada, escribano de Cámara del Rey nuestro señor, de', 'los que residen en su Consejo, certifico y doy fe que, habiendo visto por', 'los señores dél un libro intitulado El ingenioso hidalgo de la Mancha,', 'compuesto por Miguel de Cervantes Saavedra, tasaron cada pliego del dicho', 'libro a tres maravedís y medio; el cual tiene ochenta y tres pliegos, que', 'al dicho precio monta el dicho libro docientos y noventa maravedís y medio,', 'en que se ha de vender en papel; y dieron licencia para que a este precio', 'se pueda vender, y mandaron que esta tasa se ponga al principio del dicho', 'libro, y no se pueda vender sin ella. Y, para que dello conste, di la', 'presente en Valladolid, a veinte días del mes de deciembre de mil y', 'seiscientos y cuatro años.', '', 'Juan Gallo de Andrada.', '', 'TESTIMONIO DE LAS ERRATAS', '', 'Este libro no tiene cosa digna que no corresponda a su original; en', 'testimonio de lo haber correcto, di esta fee. En el Colegio de la Madre de', 'Dios de los Teólogos de la Universidad de Alcalá, en primero de diciembre', 'de 1604 años.', '', 'El licenciado Francisco Murcia de la Llana.', '', 'EL REY', '', 'Por cuanto por parte de vos, Miguel de Cervantes, nos fue fecha relación', 'que habíades compuesto un libro intitulado El ingenioso hidalgo de la', 'Mancha, el cual os había costado mucho trabajo y era muy útil y provechoso,', 'nos pedistes y suplicastes os mandásemos dar licencia y facultad para le', 'poder imprimir, y previlegio por el tiempo que fuésemos servidos, o como la', 'nuestra merced fuese; lo cual visto por los del nuestro Consejo, por cuanto', 'en el dicho libro se hicieron las diligencias que la premática últimamente', 'por nos fecha sobre la impresión de los libros dispone, fue acordado que', 'debíamos mandar dar esta nuestra cédula para vos, en la dicha razón; y nos', 'tuvímoslo por bien. Por la cual, por os hacer bien y merced, os damos', 'licencia y facultad para que vos, o la persona que vuestro poder hubiere, y', 'no otra alguna, podáis imprimir el dicho libro, intitulado El ingenioso', 'hidalgo de la Mancha, que desuso se hace mención, en todos estos nuestros', 'reinos de Castilla, por tiempo y espacio de diez años, que corran y se', 'cuenten desde el dicho día de la data desta nuestra cédula; so pena que la', 'persona o personas que, sin tener vuestro poder, lo imprimiere o vendiere,', 'o hiciere imprimir o vender, por el mesmo caso pierda la impresión que', 'hiciere, con los moldes y aparejos della; y más, incurra en pena de', 'cincuenta mil maravedís cada vez que lo contrario hiciere. La cual dicha', 'pena sea la tercia parte para la persona que lo acusare, y la otra tercia', 'parte para nuestra Cámara, y la otra tercia parte para el juez que lo', 'sentenciare. Con tanto que todas las veces que hubiéredes de hacer imprimir', 'el dicho libro, durante el tiempo de los dichos diez años, le traigáis al', 'nuestro Consejo, juntamente con el original que en él fue visto, que va', 'rubricado cada plana y firmado al fin dél de Juan Gallo de Andrada, nuestro', 'Escribano de Cámara, de los que en él residen, para saber si la dicha', 'impresión está conforme el original; o traigáis fe en pública forma de cómo', 'por corretor nombrado por nuestro mandado, se vio y corrigió la dicha', 'impresión por el original, y se imprimió conforme a él, y quedan impresas', 'las erratas por él apuntadas, para cada un libro de los que así fueren', 'impresos, para que se tase el precio que por cada volume hubiéredes de', 'haber. Y mandamos al impresor que así imprimiere el dicho libro, no imprima', 'el principio ni el primer pliego dél, ni entregue más de un solo libro con', 'el original al autor, o persona a cuya costa lo imprimiere, ni otro alguno,', 'para efeto de la dicha correción y tasa, hasta que antes y primero el dicho', 'libro esté corregido y tasado por los del nuestro Consejo; y, estando', 'hecho, y no de otra manera, pueda imprimir el dicho principio y primer', 'pliego, y sucesivamente ponga esta nuestra cédula y la aprobación, tasa y', 'erratas, so pena de caer e incurrir en las penas contenidas en las leyes y', 'premáticas destos nuestros reinos. Y mandamos a los del nuestro Consejo, y', 'a otras cualesquier justicias dellos, guarden y cumplan esta nuestra cédula', 'y lo en ella contenido. Fecha en Valladolid, a veinte y seis días del mes', 'de setiembre de mil y seiscientos y cuatro años.', '', 'YO, EL REY.', '', 'Por mandado del Rey nuestro señor:', '', 'Juan de Amezqueta.', '', 'AL DUQUE DE BÉJAR,', '', 'marqués de Gibraleón, conde de Benalcázar y Bañares, vizconde de La Puebla de', 'Alcocer, señor de las villas de Capilla, Curiel y Burguillos', '', 'En fe del buen acogimiento y honra que hace Vuestra Excelencia a toda', 'suerte de libros, como príncipe tan inclinado a favorecer las buenas artes,', 'mayormente las que por su nobleza no se abaten al servicio y granjerías del', 'vulgo, he determinado de sacar a luz al Ingenioso hidalgo don Quijote de la', 'Mancha, al abrigo del clarísimo nombre de Vuestra Excelencia, a quien, con', 'el acatamiento que debo a tanta grandeza, suplico le reciba agradablemente', 'en su protección, para que a su sombra, aunque desnudo de aquel precioso', 'ornamento de elegancia y erudición de que suelen andar vestidas las obras', 'que se componen en las casas de los hombres que saben, ose parecer', 'seguramente en el juicio de algunos que, continiéndose en los límites de su', 'ignorancia, suelen condenar con más rigor y menos justicia los trabajos', 'ajenos; que, poniendo los ojos la prudencia de Vuestra Excelencia en mi', 'buen deseo, fío que no desdeñará la cortedad de tan humilde servicio.', '', 'Miguel de Cervantes Saavedra.', '', 'PRÓLOGO', '', 'Desocupado lector: sin juramento me podrás creer que quisiera que este', 'libro, como hijo del entendimiento, fuera el más hermoso, el más gallardo y', 'más discreto que pudiera imaginarse. Pero no he podido yo contravenir al', 'orden de naturaleza; que en ella cada cosa engendra su semejante. Y así,', '¿qué podrá engendrar el estéril y mal cultivado ingenio mío, sino la', 'historia de un hijo seco, avellanado, antojadizo y lleno de pensamientos', 'varios y nunca imaginados de otro alguno, bien como quien se engendró en', 'una cárcel, donde toda incomodidad tiene su asiento y donde todo triste', 'ruido hace su habitación? El sosiego, el lugar apacible, la amenidad de los', 'campos, la serenidad de los cielos, el murmurar de las fuentes, la quietud', 'del espíritu son grande parte para que las musas más estériles se muestren', 'fecundas y ofrezcan partos al mundo que le colmen de maravilla y de', 'contento. Acontece tener un padre un hijo feo y sin gracia alguna, y el', 'amor que le tiene le pone una venda en los ojos para que no vea sus faltas,', 'antes las juzga por discreciones y lindezas y las cuenta a sus amigos por', 'agudezas y donaires. Pero yo, que, aunque parezco padre, soy padrastro de', 'Don Quijote, no quiero irme con la corriente del uso, ni suplicarte, casi', 'con las lágrimas en los ojos, como otros hacen, lector carísimo, que', 'perdones o disimules las faltas que en este mi hijo vieres; y ni eres su', 'pariente ni su amigo, y tienes tu alma en tu cuerpo y tu libre albedrío', 'como el más pintado, y estás en tu casa, donde eres señor della, como el', 'rey de sus alcabalas, y sabes lo que comúnmente se dice: que debajo de mi', 'manto, al rey mato. Todo lo cual te esenta y hace libre de todo respecto y', 'obligación; y así, puedes decir de la historia todo aquello que te', 'pareciere, sin temor que te calunien por el mal ni te premien por el bien', 'que dijeres della.', '', 'Sólo quisiera dártela monda y desnuda, sin el ornato de prólogo, ni de la', 'inumerabilidad y catálogo de los acostumbrados sonetos, epigramas y elogios', 'que al principio de los libros suelen ponerse. Porque te sé decir que,', 'aunque me costó algún trabajo componerla, ninguno tuve por mayor que hacer', 'esta prefación que vas leyendo. Muchas veces tomé la pluma para escribille,', 'y muchas la dejé, por no saber lo que escribiría; y, estando una suspenso,', 'con el papel delante, la pluma en la oreja, el codo en el bufete y la mano', 'en la mejilla, pensando lo que diría, entró a deshora un amigo mío,', 'gracioso y bien entendido, el cual, viéndome tan imaginativo, me preguntó', 'la causa; y, no encubriéndosela yo, le dije que pensaba en el prólogo que', 'había de hacer a la historia de don Quijote, y que me tenía de suerte que', 'ni quería hacerle, ni menos sacar a luz las hazañas de tan noble caballero.', '', '-Porque, ¿cómo queréis vos que no me tenga confuso el qué dirá el antiguo', 'legislador que llaman vulgo cuando vea que, al cabo de tantos años como ha', 'que duermo en el silencio del olvido, salgo ahora, con todos mis años a', 'cuestas, con una leyenda seca como un esparto, ajena de invención, menguada', 'de estilo, pobre de concetos y falta de toda erudición y doctrina; sin', 'acotaciones en las márgenes y sin anotaciones en el fin del libro, como veo', 'que están otros libros, aunque sean fabulosos y profanos, tan llenos de', 'sentencias de Aristóteles, de Platón y de toda la caterva de filósofos, que', 'admiran a los leyentes y tienen a sus autores por hombres leídos, eruditos', 'y elocuentes? ¡Pues qué, cuando citan la Divina Escritura! No dirán sino', 'que son unos santos Tomases y otros doctores de la Iglesia; guardando en', 'esto un decoro tan ingenioso, que en un renglón han pintado un enamorado', 'destraído y en otro hacen un sermoncico cristiano, que es un contento y un', 'regalo oílle o leelle. De todo esto ha de carecer mi libro, porque ni tengo', 'qué acotar en el margen, ni qué anotar en el fin, ni menos sé qué autores', 'sigo en él, para ponerlos al principio, como hacen todos, por las letras', 'del A.B.C., comenzando en Aristóteles y acabando en Xenofonte y en Zoílo o', 'Zeuxis, aunque fue maldiciente el uno y pintor el otro. También ha de', 'carecer mi libro de sonetos al principio, a lo menos de sonetos cuyos', 'autores sean duques, marqueses, condes, obispos, damas o poetas', 'celebérrimos; aunque, si yo los pidiese a dos o tres oficiales amigos, yo', 'sé que me los darían, y tales, que no les igualasen los de aquellos que', 'tienen más nombre en nuestra España. En fin, señor y amigo mío -proseguí-,', 'yo determino que el señor don Quijote se quede sepultado en sus archivos en', 'la Mancha, hasta que el cielo depare quien le adorne de tantas cosas como', 'le faltan; porque yo me hallo incapaz de remediarlas, por mi insuficiencia', 'y pocas letras, y porque naturalmente soy poltrón y perezoso de andarme', 'buscando autores que digan lo que yo me sé decir sin ellos. De aquí nace la', 'suspensión y elevamiento, amigo, en que me hallastes; bastante causa para', 'ponerme en ella la que de mí habéis oído.', '', 'Oyendo lo cual mi amigo, dándose una palmada en la frente y disparando en', 'una carga de risa, me dijo:', '', '-Por Dios, hermano, que agora me acabo de desengañar de un engaño en que he', 'estado todo el mucho tiempo que ha que os conozco, en el cual siempre os he', 'tenido por discreto y prudente en todas vuestras aciones. Pero agora veo', 'que estáis tan lejos de serlo como lo está el cielo de la tierra. ¿Cómo que', 'es posible que cosas de tan poco momento y tan fáciles de remediar puedan', 'tener fuerzas de suspender y absortar un ingenio tan maduro como el', 'vuestro, y tan hecho a romper y atropellar por otras dificultades mayores?', 'A la fe, esto no nace de falta de habilidad, sino de sobra de pereza y', 'penuria de discurso. ¿Queréis ver si es verdad lo que digo? Pues estadme', 'atento y veréis cómo, en un abrir y cerrar de ojos, confundo todas vuestras', 'dificultades y remedio todas las faltas que decís que os suspenden y', 'acobardan para dejar de sacar a la luz del mundo la historia de vuestro', 'famoso don Quijote, luz y espejo de toda la caballería andante.', '', '-Decid -le repliqué yo, oyendo lo que me decía-: ¿de qué modo pensáis', 'llenar el vacío de mi temor y reducir a claridad el caos de mi confusión?', '', 'A lo cual él dijo:', '', '-Lo primero en que reparáis de los sonetos, epigramas o elogios que os', 'faltan para el principio, y que sean de personajes graves y de título, se', 'puede remediar en que vos mesmo toméis algún trabajo en hacerlos, y después', 'los podéis bautizar y poner el nombre que quisiéredes, ahijándolos al', 'Preste Juan de las Indias o al Emperador de Trapisonda, de quien yo sé que', 'hay noticia que fueron famosos poetas; y cuando no lo hayan sido y hubiere', 'algunos pedantes y bachilleres que por detrás os muerdan y murmuren desta', 'verdad, no se os dé dos maravedís; porque, ya que os averigüen la mentira,', 'no os han de cortar la mano con que lo escribistes.', '', '»En lo de citar en las márgenes los libros y autores de donde sacáredes las', 'sentencias y dichos que pusiéredes en vuestra historia, no hay más sino', 'hacer, de manera que venga a pelo, algunas sentencias o latines que vos', 'sepáis de memoria, o, a lo menos, que os cuesten poco trabajo el buscalle;', 'como será poner, tratando de libertad y cautiverio:', '', '   Non bene pro toto libertas venditur auro.', '', 'Y luego, en el margen, citar a Horacio, o a quien lo dijo. Si tratáredes', 'del poder de la muerte, acudir luego con:', '', '   Pallida mors aequo pulsat pede pauperum tabernas,', '   Regumque turres.', '', 'Si de la amistad y amor que Dios manda que se tenga al enemigo, entraros', 'luego al punto por la Escritura Divina, que lo podéis hacer con tantico de', 'curiosidad, y decir las palabras, por lo menos, del mismo Dios: Ego autem', 'dico vobis: diligite inimicos vestros. Si tratáredes de malos pensamientos,', 'acudid con el Evangelio: De corde exeunt cogitationes malae. Si de la', 'instabilidad de los amigos, ahí está Catón, que os dará su dístico:', '', '   Donec eris felix, multos numerabis amicos,', '   tempora si fuerint nubila, solus eris.', '', 'Y con estos latinicos y otros tales os tendrán siquiera por gramático, que', 'el serlo no es de poca honra y provecho el día de hoy.', '', '»En lo que toca el poner anotaciones al fin del libro, seguramente lo', 'podéis hacer desta manera: si nombráis algún gigante en vuestro libro,', 'hacelde que sea el gigante Golías, y con sólo esto, que os costará casi', 'nada, tenéis una grande anotación, pues podéis poner: El gigante Golías, o', 'Goliat, fue un filisteo a quien el pastor David mató de una gran pedrada en', 'el valle de Terebinto, según se cuenta en el Libro de los Reyes, en el', 'capítulo que vos halláredes que se escribe. Tras esto, para mostraros', 'hombre erudito en letras humanas y cosmógrafo, haced de modo como en', 'vuestra historia se nombre el río Tajo, y veréisos luego con otra famosa', 'anotación, poniendo: El río Tajo fue así dicho por un rey de las Españas;', 'tiene su nacimiento en tal lugar y muere en el mar océano, besando los', 'muros de la famosa ciudad de Lisboa; y es opinión que tiene las arenas de', 'oro, etc. Si tratáredes de ladrones, yo os diré la historia de Caco, que la', 'sé de coro; si de mujeres rameras, ahí está el obispo de Mondoñedo, que os', 'prestará a Lamia, Laida y Flora, cuya anotación os dará gran crédito; si de', 'crueles, Ovidio os entregará a Medea; si de encantadores y hechiceras,', 'Homero tiene a Calipso, y Virgilio a Circe; si de capitanes valerosos, el', 'mesmo Julio César os prestará a sí mismo en sus Comentarios, y Plutarco os', 'dará mil Alejandros. Si tratáredes de amores, con dos onzas que sepáis de', 'la lengua toscana, toparéis con León Hebreo, que os hincha las medidas. Y', 'si no queréis andaros por tierras extrañas, en vuestra casa tenéis a', 'Fonseca, Del amor de Dios, donde se cifra todo lo que vos y el más', 'ingenioso acertare a desear en tal materia. En resolución, no hay más sino', 'que vos procuréis nombrar estos nombres, o tocar estas historias en la', 'vuestra, que aquí he dicho, y dejadme a mí el cargo de poner las', 'anotaciones y acotaciones; que yo os voto a tal de llenaros las márgenes y', 'de gastar cuatro pliegos en el fin del libro.', '', '»Vengamos ahora a la citación de los autores que los otros libros tienen,', 'que en el vuestro os faltan. El remedio que esto tiene es muy fácil, porque', 'no habéis de hacer otra cosa que buscar un libro que los acote todos, desde', 'la A hasta la Z, como vos decís. Pues ese mismo abecedario pondréis vos en', 'vuestro libro; que, puesto que a la clara se vea la mentira, por la poca', 'necesidad que vos teníades de aprovecharos dellos, no importa nada; y quizá', 'alguno habrá tan simple, que crea que de todos os habéis aprovechado en la', 'simple y sencilla historia vuestra; y, cuando no sirva de otra cosa, por lo', 'menos servirá aquel largo catálogo de autores a dar de improviso autoridad', 'al libro. Y más, que no habrá quien se ponga a averiguar si los seguistes o', 'no los seguistes, no yéndole nada en ello. Cuanto más que, si bien caigo en', 'la cuenta, este vuestro libro no tiene necesidad de ninguna cosa de', 'aquellas que vos decís que le falta, porque todo él es una invectiva contra', 'los libros de caballerías, de quien nunca se acordó Aristóteles, ni dijo', 'nada San Basilio, ni alcanzó Cicerón; ni caen debajo de la cuenta de sus', 'fabulosos disparates las puntualidades de la verdad, ni las observaciones', 'de la astrología; ni le son de importancia las medidas geométricas, ni la', 'confutación de los argumentos de quien se sirve la retórica; ni tiene para', 'qué predicar a ninguno, mezclando lo humano con lo divino, que es un género', 'de mezcla de quien no se ha de vestir ningún cristiano entendimiento. Sólo', 'tiene que aprovecharse de la imitación en lo que fuere escribiendo; que,', 'cuanto ella fuere más perfecta, tanto mejor será lo que se escribiere. Y,', 'pues esta vuestra escritura no mira a más que a deshacer la autoridad y', 'cabida que en el mundo y en el vulgo tienen los libros de caballerías, no', 'hay para qué andéis mendigando sentencias de filósofos, consejos de la', 'Divina Escritura, fábulas de poetas, oraciones de retóricos, milagros de', 'santos, sino procurar que a la llana, con palabras significantes, honestas', 'y bien colocadas, salga vuestra oración y período sonoro y festivo;', 'pintando, en todo lo que alcanzáredes y fuere posible, vuestra intención,', 'dando a entender vuestros conceptos sin intricarlos y escurecerlos.', 'Procurad también que, leyendo vuestra historia, el melancólico se mueva a', 'risa, el risueño la acreciente, el simple no se enfade, el discreto se', 'admire de la invención, el grave no la desprecie, ni el prudente deje de', 'alabarla. En efecto, llevad la mira puesta a derribar la máquina mal', 'fundada destos caballerescos libros, aborrecidos de tantos y alabados de', 'muchos más; que si esto alcanzásedes, no habríades alcanzado poco.', '', 'Con silencio grande estuve escuchando lo que mi amigo me decía, y de tal', 'manera se imprimieron en mí sus razones que, sin ponerlas en disputa, las', 'aprobé por buenas y de ellas mismas quise hacer este prólogo; en el cual', 'verás, lector suave, la discreción de mi amigo, la buena ventura mía en', 'hallar en tiempo tan necesitado tal consejero, y el alivio tuyo en hallar', 'tan sincera y tan sin revueltas la historia del famoso don Quijote de la', 'Mancha, de quien hay opinión, por todos los habitadores del distrito del', 'campo de Montiel, que fue el más casto enamorado y el más valiente', 'caballero que de muchos años a esta parte se vio en aquellos contornos. Yo', 'no quiero encarecerte el servicio que te hago en darte a conocer tan noble', 'y tan honrado caballero, pero quiero que me agradezcas el conocimiento que', 'tendrás del famoso Sancho Panza, su escudero, en quien, a mi parecer, te', 'doy cifradas todas las gracias escuderiles que en la caterva de los libros', 'vanos de caballerías están esparcidas.', '', 'Y con esto, Dios te dé salud, y a mí no olvide. Vale.', '', 'AL LIBRO DE DON QUIJOTE DE LA MANCHA', '', '   Urganda la desconocida', '   Si de llegarte a los bue-,', '   libro, fueres con letu-,', '   no te dirá el boquirru-', '   que no pones bien los de-.', '   Mas si el pan no se te cue-', '   por ir a manos de idio-,', '   verás de manos a bo-,', '   aun no dar una en el cla-,', '   si bien se comen las ma-', '   por mostrar que son curio-.', '   Y, pues la expiriencia ense-', '   que el que a buen árbol se arri-', '   buena sombra le cobi-,', '   en Béjar tu buena estre-', '   un árbol real te ofre-', '   que da príncipes por fru-,', '   en el cual floreció un du-', '   que es nuevo Alejandro Ma-:', '   llega a su sombra, que a osa-', '   favorece la fortu-.', '   De un noble hidalgo manche-', '   contarás las aventu-,', '   a quien ociosas letu-,', '   trastornaron la cabe-:', '   damas, armas, caballe-,', '   le provocaron de mo-,', '   que, cual Orlando furio-,', '   templado a lo enamora-,', '   alcanzó a fuerza de bra-', '   a Dulcinea del Tobo-.', '   No indiscretos hieroglí-', '   estampes en el escu-,', '   que, cuando es todo figu-,', '   con ruines puntos se envi-.', '   Si en la dirección te humi-,', '', '   no dirá, mofante, algu-:', \"   ''¡Qué don Álvaro de Lu-,\", '   qué Anibal el de Carta-,', '   qué rey Francisco en Espa-', \"   se queja de la Fortu-!''\", '   Pues al cielo no le plu-', '   que salieses tan ladi-', '   como el negro Juan Lati-,', '   hablar latines rehú-.', '   No me despuntes de agu-,', '   ni me alegues con filó-,', '   porque, torciendo la bo-,', '   dirá el que entiende la le-,', '   no un palmo de las ore-:', \"   ''¿Para qué conmigo flo-?''\", '   No te metas en dibu-,', '   ni en saber vidas aje-,', '   que, en lo que no va ni vie-,', '', '   pasar de largo es cordu-.', '   Que suelen en caperu-', '   darles a los que grace-;', '   mas tú quémate las ce-', '   sólo en cobrar buena fa-;', '   que el que imprime neceda-', '   dalas a censo perpe-.', '   Advierte que es desati-,', '   siendo de vidrio el teja-,', '   tomar piedras en las ma-', '   para tirar al veci-.', '   Deja que el hombre de jui-,', '   en las obras que compo-,', '   se vaya con pies de plo-;', '   que el que saca a luz pape-', '   para entretener donce-', '   escribe a tontas y a lo-.', '', 'AMADÍS DE GAULA A DON QUIJOTE DE LA MANCHA', '', 'Soneto', '', '   Tú, que imitaste la llorosa vida', '   que tuve, ausente y desdeñado sobre', '   el gran ribazo de la Peña Pobre,', '   de alegre a penitencia reducida;', '   tú, a quien los ojos dieron la bebida', '   de abundante licor, aunque salobre,', '   y alzándote la plata, estaño y cobre,', '   te dio la tierra en tierra la comida,', '   vive seguro de que eternamente,', '   en tanto, al menos, que en la cuarta esfera,', '   sus caballos aguije el rubio Apolo,', '   tendrás claro renombre de valiente;', '   tu patria será en todas la primera;', '   tu sabio autor, al mundo único y solo.', '', 'DON BELIANÍS DE GRECIA A DON QUIJOTE DE LA MANCHA', '', 'Soneto', '', '   Rompí, corté, abollé, y dije y hice', '   más que en el orbe caballero andante;', '   fui diestro, fui valiente, fui arrogante;', '   mil agravios vengué, cien mil deshice.', '   Hazañas di a la Fama que eternice;', '   fui comedido y regalado amante;', '   fue enano para mí todo gigante,', '   y al duelo en cualquier punto satisfice.', '   Tuve a mis pies postrada la Fortuna,', '   y trajo del copete mi cordura', '   a la calva Ocasión al estricote.', '   Más, aunque sobre el cuerno de la luna', '   siempre se vio encumbrada mi ventura,', '   tus proezas envidio, ¡oh gran Quijote!', '', 'LA SEÑORA ORIANA A DULCINEA DEL TOBOSO', '', 'Soneto', '', '   ¡Oh, quién tuviera, hermosa Dulcinea,', '   por más comodidad y más reposo,', '   a Miraflores puesto en el Toboso,', '   y trocara sus Londres con tu aldea!', '   ¡Oh, quién de tus deseos y librea', '   alma y cuerpo adornara, y del famoso', '   caballero que hiciste venturoso', '   mirara alguna desigual pelea!', '   ¡Oh, quién tan castamente se escapara', '   del señor Amadís como tú hiciste', '   del comedido hidalgo don Quijote!', '   Que así envidiada fuera, y no envidiara,', '   y fuera alegre el tiempo que fue triste,', '   y gozara los gustos sin escote.', '', 'GANDALÍN, ESCUDERO DE AMADÍS DE GAULA, A SANCHO PANZA, ESCUDERO DE DON QUIJOTE', '', 'Soneto', '', '   Salve, varón famoso, a quien Fortuna,', '   cuando en el trato escuderil te puso,', '   tan blanda y cuerdamente lo dispuso,', '   que lo pasaste sin desgracia alguna.', '   Ya la azada o la hoz poco repugna', '   al andante ejercicio; ya está en uso', '   la llaneza escudera, con que acuso', '   al soberbio que intenta hollar la luna.', '   Envidio a tu jumento y a tu nombre,', '   y a tus alforjas igualmente invidio,', '   que mostraron tu cuerda providencia.', '   Salve otra vez, ¡oh Sancho!, tan buen hombre,', '   que a solo tú nuestro español Ovidio', '   con buzcorona te hace reverencia.', '', 'DEL DONOSO, POETA ENTREVERADO, A SANCHO PANZA Y ROCINANTE', '', '   Soy Sancho Panza, escude-', '   del manchego don Quijo-.', '   Puse pies en polvoro-,', '   por vivir a lo discre-;', '   que el tácito Villadie-', '   toda su razón de esta-', '   cifró en una retira-,', '   según siente Celesti-,', '   libro, en mi opinión, divi-', '   si encubriera más lo huma-.', '   A Rocinante', '   Soy Rocinante, el famo-', '   bisnieto del gran Babie-.', '   Por pecados de flaque-,', '   fui a poder de un don Quijo-.', '   Parejas corrí a lo flo-;', '   mas, por uña de caba-,', '   no se me escapó ceba-;', '   que esto saqué a Lazari-', '   cuando, para hurtar el vi-', '   al ciego, le di la pa-.', '', 'ORLANDO FURIOSO A DON QUIJOTE DE LA MANCHA', '', 'Soneto', '', '   Si no eres par, tampoco le has tenido:', '   que par pudieras ser entre mil pares;', '   ni puede haberle donde tú te hallares,', '   invito vencedor, jamás vencido.', '   Orlando soy, Quijote, que, perdido', '   por Angélica, vi remotos mares,', '   ofreciendo a la Fama en sus altares', '   aquel valor que respetó el olvido.', '   No puedo ser tu igual; que este decoro', '   se debe a tus proezas y a tu fama,', '   puesto que, como yo, perdiste el seso.', '   Mas serlo has mío, si al soberbio moro', '   y cita fiero domas, que hoy nos llama', '   iguales en amor con mal suceso.', '', 'EL CABALLERO DEL FEBO A DON QUIJOTE DE LA MANCHA', '', 'Soneto', '', '   A vuestra espada no igualó la mía,', '   Febo español, curioso cortesano,', '   ni a la alta gloria de valor mi mano,', '   que rayo fue do nace y muere el día.', '   Imperios desprecié; la monarquía', '   que me ofreció el Oriente rojo en vano', '   dejé, por ver el rostro soberano', '   de Claridiana, aurora hermosa mía.', '   Améla por milagro único y raro,', '   y, ausente en su desgracia, el propio infierno', '   temió mi brazo, que domó su rabia.', '   Mas vos, godo Quijote, ilustre y claro,', '   por Dulcinea sois al mundo eterno,', '   y ella, por vos, famosa, honesta y sabia.', '', 'DE SOLISDÁN A DON QUIJOTE DE LA MANCHA', '', 'Soneto', '', '   Maguer, señor Quijote, que sandeces', '   vos tengan el cerbelo derrumbado,', '   nunca seréis de alguno reprochado', '   por home de obras viles y soeces.', '   Serán vuesas fazañas los joeces,', '   pues tuertos desfaciendo habéis andado,', '   siendo vegadas mil apaleado', '   por follones cautivos y raheces.', '   Y si la vuesa linda Dulcinea', '   desaguisado contra vos comete,', '   ni a vuesas cuitas muestra buen talante,', '   en tal desmán, vueso conorte sea', '   que Sancho Panza fue mal alcagüete,', '   necio él, dura ella, y vos no amante.', '', 'DIÁLOGO ENTRE BABIECA Y ROCINANTE', '', 'Soneto', '', '   B. ¿Cómo estáis, Rocinante, tan delgado?', '   R. Porque nunca se come, y se trabaja.', '   B. Pues, ¿qué es de la cebada y de la paja?', '   R. No me deja mi amo ni un bocado.', '   B. Andá, señor, que estáis muy mal criado,', '   pues vuestra lengua de asno al amo ultraja.', '   R. Asno se es de la cuna a la mortaja.', '   ¿Queréislo ver? Miraldo enamorado.', '   B. ¿Es necedad amar? R. No es gran prudencia.', '   B. Metafísico estáis. R. Es que no como.', '   B. Quejaos del escudero. R. No es bastante.', '   ¿Cómo me he de quejar en mi dolencia,', '   si el amo y escudero o mayordomo', '   son tan rocines como Rocinante?', '', 'Primera parte del ingenioso hidalgo don Quijote de la Mancha', '', '', '', '', '', 'Capítulo primero. Que trata de la condición y ejercicio del famoso hidalgo', 'don Quijote de la Mancha', '', '', 'En un lugar de la Mancha, de cuyo nombre no quiero acordarme, no ha mucho', 'tiempo que vivía un hidalgo de los de lanza en astillero, adarga antigua,', 'rocín flaco y galgo corredor. Una olla de algo más vaca que carnero,', 'salpicón las más noches, duelos y quebrantos los sábados, lantejas los', 'viernes, algún palomino de añadidura los domingos, consumían las tres', 'partes de su hacienda. El resto della concluían sayo de velarte, calzas de', 'velludo para las fiestas, con sus pantuflos de lo mesmo, y los días de', 'entresemana se honraba con su vellorí de lo más fino. Tenía en su casa una', 'ama que pasaba de los cuarenta, y una sobrina que no llegaba a los veinte,', 'y un mozo de campo y plaza, que así ensillaba el rocín como tomaba la', 'podadera. Frisaba la edad de nuestro hidalgo con los cincuenta años; era de', 'complexión recia, seco de carnes, enjuto de rostro, gran madrugador y amigo', 'de la caza. Quieren decir que tenía el sobrenombre de Quijada, o Quesada,', 'que en esto hay alguna diferencia en los autores que deste caso escriben;', 'aunque, por conjeturas verosímiles, se deja entender que se llamaba', 'Quejana. Pero esto importa poco a nuestro cuento; basta que en la narración', 'dél no se salga un punto de la verdad.', '', 'Es, pues, de saber que este sobredicho hidalgo, los ratos que estaba', 'ocioso, que eran los más del año, se daba a leer libros de caballerías, con', 'tanta afición y gusto, que olvidó casi de todo punto el ejercicio de la', 'caza, y aun la administración de su hacienda. Y llegó a tanto su curiosidad', 'y desatino en esto, que vendió muchas hanegas de tierra de sembradura para', 'comprar libros de caballerías en que leer, y así, llevó a su casa todos', 'cuantos pudo haber dellos; y de todos, ningunos le parecían tan bien como', 'los que compuso el famoso Feliciano de Silva, porque la claridad de su', 'prosa y aquellas entricadas razones suyas le parecían de perlas, y más', 'cuando llegaba a leer aquellos requiebros y cartas de desafíos, donde en', 'muchas partes hallaba escrito: La razón de la sinrazón que a mi razón se', 'hace, de tal manera mi razón enflaquece, que con razón me quejo de la', 'vuestra fermosura. Y también cuando leía: ...los altos cielos que de', 'vuestra divinidad divinamente con las estrellas os fortifican, y os hacen', 'merecedora del merecimiento que merece la vuestra grandeza.', '', 'Con estas razones perdía el pobre caballero el juicio, y desvelábase por', 'entenderlas y desentrañarles el sentido, que no se lo sacara ni las', 'entendiera el mesmo Aristóteles, si resucitara para sólo ello. No estaba', 'muy bien con las heridas que don Belianís daba y recebía, porque se', 'imaginaba que, por grandes maestros que le hubiesen curado, no dejaría de', 'tener el rostro y todo el cuerpo lleno de cicatrices y señales. Pero, con', 'todo, alababa en su autor aquel acabar su libro con la promesa de aquella', 'inacabable aventura, y muchas veces le vino deseo de tomar la pluma y dalle', 'fin al pie de la letra, como allí se promete; y sin duda alguna lo hiciera,', 'y aun saliera con ello, si otros mayores y continuos pensamientos no se lo', 'estorbaran. Tuvo muchas veces competencia con el cura de su lugar -que era', 'hombre docto, graduado en Sigüenza-, sobre cuál había sido mejor caballero:', 'Palmerín de Ingalaterra o Amadís de Gaula; mas maese Nicolás, barbero del', 'mesmo pueblo, decía que ninguno llegaba al Caballero del Febo, y que si', 'alguno se le podía comparar, era don Galaor, hermano de Amadís de Gaula,', 'porque tenía muy acomodada condición para todo; que no era caballero', 'melindroso, ni tan llorón como su hermano, y que en lo de la valentía no le', 'iba en zaga.', '', 'En resolución, él se enfrascó tanto en su letura, que se le pasaban las', 'noches leyendo de claro en claro, y los días de turbio en turbio; y así,', 'del poco dormir y del mucho leer, se le secó el celebro, de manera que vino', 'a perder el juicio. Llenósele la fantasía de todo aquello que leía en los', 'libros, así de encantamentos como de pendencias, batallas, desafíos,', 'heridas, requiebros, amores, tormentas y disparates imposibles; y', 'asentósele de tal modo en la imaginación que era verdad toda aquella', 'máquina de aquellas sonadas soñadas invenciones que leía, que para él no', 'había otra historia más cierta en el mundo. Decía él que el Cid Ruy Díaz', 'había sido muy buen caballero, pero que no tenía que ver con el Caballero', 'de la Ardiente Espada, que de sólo un revés había partido por medio dos', 'fieros y descomunales gigantes. Mejor estaba con Bernardo del Carpio,', 'porque en Roncesvalles había muerto a Roldán el encantado, valiéndose de la', 'industria de Hércules, cuando ahogó a Anteo, el hijo de la Tierra, entre', 'los brazos. Decía mucho bien del gigante Morgante, porque, con ser de', 'aquella generación gigantea, que todos son soberbios y descomedidos, él', 'solo era afable y bien criado. Pero, sobre todos, estaba bien con Reinaldos', 'de Montalbán, y más cuando le veía salir de su castillo y robar cuantos', 'topaba, y cuando en allende robó aquel ídolo de Mahoma que era todo de oro,', 'según dice su historia. Diera él, por dar una mano de coces al traidor de', 'Galalón, al ama que tenía, y aun a su sobrina de añadidura.', '', 'En efeto, rematado ya su juicio, vino a dar en el más estraño pensamiento', 'que jamás dio loco en el mundo; y fue que le pareció convenible y', 'necesario, así para el aumento de su honra como para el servicio de su', 'república, hacerse caballero andante, y irse por todo el mundo con sus', 'armas y caballo a buscar las aventuras y a ejercitarse en todo aquello que', 'él había leído que los caballeros andantes se ejercitaban, deshaciendo todo', 'género de agravio, y poniéndose en ocasiones y peligros donde, acabándolos,', 'cobrase eterno nombre y fama. Imaginábase el pobre ya coronado por el valor', 'de su brazo, por lo menos, del imperio de Trapisonda; y así, con estos tan', 'agradables pensamientos, llevado del estraño gusto que en ellos sentía, se', 'dio priesa a poner en efeto lo que deseaba.', '', 'Y lo primero que hizo fue limpiar unas armas que habían sido de sus', 'bisabuelos, que, tomadas de orín y llenas de moho, luengos siglos había que', 'estaban puestas y olvidadas en un rincón. Limpiólas y aderezólas lo mejor', 'que pudo, pero vio que tenían una gran falta, y era que no tenían celada de', 'encaje, sino morrión simple; mas a esto suplió su industria, porque de', 'cartones hizo un modo de media celada, que, encajada con el morrión, hacían', 'una apariencia de celada entera. Es verdad que para probar si era fuerte y', 'podía estar al riesgo de una cuchillada, sacó su espada y le dio dos', 'golpes, y con el primero y en un punto deshizo lo que había hecho en una', 'semana; y no dejó de parecerle mal la facilidad con que la había hecho', 'pedazos, y, por asegurarse deste peligro, la tornó a hacer de nuevo,', 'poniéndole unas barras de hierro por de dentro, de tal manera que él quedó', 'satisfecho de su fortaleza; y, sin querer hacer nueva experiencia della, la', 'diputó y tuvo por celada finísima de encaje.', '', 'Fue luego a ver su rocín, y, aunque tenía más cuartos que un real y más', 'tachas que el caballo de Gonela, que tantum pellis et ossa fuit, le pareció', 'que ni el Bucéfalo de Alejandro ni Babieca el del Cid con él se igualaban.', 'Cuatro días se le pasaron en imaginar qué nombre le pondría; porque, según', 'se decía él a sí mesmo, no era razón que caballo de caballero tan famoso, y', 'tan bueno él por sí, estuviese sin nombre conocido; y ansí, procuraba', 'acomodársele de manera que declarase quién había sido, antes que fuese de', 'caballero andante, y lo que era entonces; pues estaba muy puesto en razón', 'que, mudando su señor estado, mudase él también el nombre, y le cobrase', 'famoso y de estruendo, como convenía a la nueva orden y al nuevo ejercicio', 'que ya profesaba. Y así, después de muchos nombres que formó, borró y', 'quitó, añadió, deshizo y tornó a hacer en su memoria e imaginación, al fin', 'le vino a llamar Rocinante: nombre, a su parecer, alto, sonoro y', 'significativo de lo que había sido cuando fue rocín, antes de lo que ahora', 'era, que era antes y primero de todos los rocines del mundo.', '', 'Puesto nombre, y tan a su gusto, a su caballo, quiso ponérsele a sí mismo,', 'y en este pensamiento duró otros ocho días, y al cabo se vino a llamar don', 'Quijote; de donde -como queda dicho- tomaron ocasión los autores desta tan', 'verdadera historia que, sin duda, se debía de llamar Quijada, y no Quesada,', 'como otros quisieron decir. Pero, acordándose que el valeroso Amadís no', 'sólo se había contentado con llamarse Amadís a secas, sino que añadió el', 'nombre de su reino y patria, por Hepila famosa, y se llamó Amadís de Gaula,', 'así quiso, como buen caballero, añadir al suyo el nombre de la suya y', 'llamarse don Quijote de la Mancha, con que, a su parecer, declaraba muy al', 'vivo su linaje y patria, y la honraba con tomar el sobrenombre della.', '', 'Limpias, pues, sus armas, hecho del morrión celada, puesto nombre a su', 'rocín y confirmándose a sí mismo, se dio a entender que no le faltaba otra', 'cosa sino buscar una dama de quien enamorarse; porque el caballero andante', 'sin amores era árbol sin hojas y sin fruto y cuerpo sin alma. Decíase él', 'a sí:', '', '-Si yo, por malos de mis pecados, o por mi buena suerte, me encuentro por', 'ahí con algún gigante, como de ordinario les acontece a los caballeros', 'andantes, y le derribo de un encuentro, o le parto por mitad del cuerpo, o,', 'finalmente, le venzo y le rindo, ¿no será bien tener a quien enviarle', 'presentado y que entre y se hinque de rodillas ante mi dulce señora, y diga', \"con voz humilde y rendido: ''Yo, señora, soy el gigante Caraculiambro,\", 'señor de la ínsula Malindrania, a quien venció en singular batalla el', 'jamás como se debe alabado caballero don Quijote de la Mancha, el cual me', 'mandó que me presentase ante vuestra merced, para que la vuestra grandeza', \"disponga de mí a su talante''?\", '', '¡Oh, cómo se holgó nuestro buen caballero cuando hubo hecho este discurso,', 'y más cuando halló a quien dar nombre de su dama! Y fue, a lo que se cree,', 'que en un lugar cerca del suyo había una moza labradora de muy buen', 'parecer, de quien él un tiempo anduvo enamorado, aunque, según se entiende,', 'ella jamás lo supo, ni le dio cata dello. Llamábase Aldonza Lorenzo, y a', 'ésta le pareció ser bien darle título de señora de sus pensamientos; y,', 'buscándole nombre que no desdijese mucho del suyo, y que tirase y se', 'encaminase al de princesa y gran señora, vino a llamarla Dulcinea del', 'Toboso, porque era natural del Toboso; nombre, a su parecer, músico y', 'peregrino y significativo, como todos los demás que a él y a sus cosas', 'había puesto.', '', '', '', '', '', 'Capítulo II. Que trata de la primera salida que de su tierra hizo el', 'ingenioso don Quijote', '', '', 'Hechas, pues, estas prevenciones, no quiso aguardar más tiempo a poner en', 'efeto su pensamiento, apretándole a ello la falta que él pensaba que hacía', 'en el mundo su tardanza, según eran los agravios que pensaba deshacer,', 'tuertos que enderezar, sinrazones que emendar, y abusos que mejorar y', 'deudas que satisfacer. Y así, sin dar parte a persona alguna de su', 'intención, y sin que nadie le viese, una mañana, antes del día, que era uno', 'de los calurosos del mes de julio, se armó de todas sus armas, subió sobre', 'Rocinante, puesta su mal compuesta celada, embrazó su adarga, tomó su', 'lanza, y, por la puerta falsa de un corral, salió al campo con grandísimo', 'contento y alborozo de ver con cuánta facilidad había dado principio a su', 'buen deseo. Mas, apenas se vio en el campo, cuando le asaltó un pensamiento', 'terrible, y tal, que por poco le hiciera dejar la comenzada empresa; y fue', 'que le vino a la memoria que no era armado caballero, y que, conforme a ley', 'de caballería, ni podía ni debía tomar armas con ningún caballero; y,', 'puesto que lo fuera, había de llevar armas blancas, como novel caballero,', 'sin empresa en el escudo, hasta que por su esfuerzo la ganase. Estos', 'pensamientos le hicieron titubear en su propósito; mas, pudiendo más su', 'locura que otra razón alguna, propuso de hacerse armar caballero del', 'primero que topase, a imitación de otros muchos que así lo hicieron, según', 'él había leído en los libros que tal le tenían. En lo de las armas blancas,', 'pensaba limpiarlas de manera, en teniendo lugar, que lo fuesen más que un', 'armiño; y con esto se quietó y prosiguió su camino, sin llevar otro que', 'aquel que su caballo quería, creyendo que en aquello consistía la fuerza de', 'las aventuras.', '', 'Yendo, pues, caminando nuestro flamante aventurero, iba hablando consigo', 'mesmo y diciendo:', '', '-¿Quién duda sino que en los venideros tiempos, cuando salga a luz la', 'verdadera historia de mis famosos hechos, que el sabio que los escribiere', 'no ponga, cuando llegue a contar esta mi primera salidad tan de mañana,', 'desta manera?: «Apenas había el rubicundo Apolo tendido por la faz de la', 'ancha y espaciosa tierra las doradas hebras de sus hermosos cabellos, y', 'apenas los pequeños y pintados pajarillos con sus arpadas lenguas habían', 'saludado con dulce y meliflua armonía la venida de la rosada aurora, que,', 'dejando la blanda cama del celoso marido, por las puertas y balcones del', 'manchego horizonte a los mortales se mostraba, cuando el famoso caballero', 'don Quijote de la Mancha, dejando las ociosas plumas, subió sobre su famoso', 'caballo Rocinante, y comenzó a caminar por el antiguo y conocido campo de', 'Montiel».', '', 'Y era la verdad que por él caminaba. Y añadió diciendo:', '', '-Dichosa edad, y siglo dichoso aquel adonde saldrán a luz las famosas', 'hazañas mías, dignas de entallarse en bronces, esculpirse en mármoles y', 'pintarse en tablas para memoria en lo futuro. ¡Oh tú, sabio encantador,', 'quienquiera que seas, a quien ha de tocar el ser coronista desta peregrina', 'historia, ruégote que no te olvides de mi buen Rocinante, compañero eterno', 'mío en todos mis caminos y carreras!', '', 'Luego volvía diciendo, como si verdaderamente fuera enamorado:', '', '-¡Oh princesa Dulcinea, señora deste cautivo corazón!, mucho agravio me', 'habedes fecho en despedirme y reprocharme con el riguroso afincamiento de', 'mandarme no parecer ante la vuestra fermosura. Plégaos, señora, de', 'membraros deste vuestro sujeto corazón, que tantas cuitas por vuestro amor', 'padece.', '', 'Con éstos iba ensartando otros disparates, todos al modo de los que sus', 'libros le habían enseñado, imitando en cuanto podía su lenguaje. Con esto,', 'caminaba tan despacio, y el sol entraba tan apriesa y con tanto ardor, que', 'fuera bastante a derretirle los sesos, si algunos tuviera.', '', 'Casi todo aquel día caminó sin acontecerle cosa que de contar fuese, de lo', 'cual se desesperaba, porque quisiera topar luego luego con quien hacer', 'experiencia del valor de su fuerte brazo. Autores hay que dicen que la', 'primera aventura que le avino fue la del Puerto Lápice; otros dicen que la', 'de los molinos de viento; pero, lo que yo he podido averiguar en este caso,', 'y lo que he hallado escrito en los Anales de la Mancha, es que él anduvo', 'todo aquel día, y, al anochecer, su rocín y él se hallaron cansados y', 'muertos de hambre; y que, mirando a todas partes por ver si descubriría', 'algún castillo o alguna majada de pastores donde recogerse y adonde pudiese', 'remediar su mucha hambre y necesidad, vio, no lejos del camino por donde', 'iba, una venta, que fue como si viera una estrella que, no a los portales,', 'sino a los alcázares de su redención le encaminaba. Diose priesa a caminar,', 'y llegó a ella a tiempo que anochecía.', '', 'Estaban acaso a la puerta dos mujeres mozas, destas que llaman del partido,', 'las cuales iban a Sevilla con unos arrieros que en la venta aquella noche', 'acertaron a hacer jornada; y, como a nuestro aventurero todo cuanto', 'pensaba, veía o imaginaba le parecía ser hecho y pasar al modo de lo que', 'había leído, luego que vio la venta, se le representó que era un castillo', 'con sus cuatro torres y chapiteles de luciente plata, sin faltarle su', 'puente levadiza y honda cava, con todos aquellos adherentes que semejantes', 'castillos se pintan. Fuese llegando a la venta, que a él le parecía', 'castillo, y a poco trecho della detuvo las riendas a Rocinante, esperando', 'que algún enano se pusiese entre las almenas a dar señal con alguna', 'trompeta de que llegaba caballero al castillo. Pero, como vio que se', 'tardaban y que Rocinante se daba priesa por llegar a la caballeriza, se', 'llegó a la puerta de la venta, y vio a las dos destraídas mozas que allí', 'estaban, que a él le parecieron dos hermosas doncellas o dos graciosas', 'damas que delante de la puerta del castillo se estaban solazando. En esto,', 'sucedió acaso que un porquero que andaba recogiendo de unos rastrojos una', 'manada de puercos -que, sin perdón, así se llaman- tocó un cuerno, a cuya', 'señal ellos se recogen, y al instante se le representó a don Quijote lo que', 'deseaba, que era que algún enano hacía señal de su venida; y así, con', 'estraño contento, llegó a la venta y a las damas, las cuales, como vieron', 'venir un hombre de aquella suerte, armado y con lanza y adarga, llenas de', 'miedo, se iban a entrar en la venta; pero don Quijote, coligiendo por su', 'huida su miedo, alzándose la visera de papelón y descubriendo su seco y', 'polvoroso rostro, con gentil talante y voz reposada, les dijo:', '', '-No fuyan las vuestras mercedes ni teman desaguisado alguno; ca a la orden', 'de caballería que profeso non toca ni atañe facerle a ninguno, cuanto más a', 'tan altas doncellas como vuestras presencias demuestran.', '', 'Mirábanle las mozas, y andaban con los ojos buscándole el rostro, que la', 'mala visera le encubría; mas, como se oyeron llamar doncellas, cosa tan', 'fuera de su profesión, no pudieron tener la risa, y fue de manera que don', 'Quijote vino a correrse y a decirles:', '', '-Bien parece la mesura en las fermosas, y es mucha sandez además la risa', 'que de leve causa procede; pero no vos lo digo porque os acuitedes ni', 'mostredes mal talante; que el mío non es de ál que de serviros.', '', 'El lenguaje, no entendido de las señoras, y el mal talle de nuestro', 'caballero acrecentaba en ellas la risa y en él el enojo; y pasara muy', 'adelante si a aquel punto no saliera el ventero, hombre que, por ser muy', 'gordo, era muy pacífico, el cual, viendo aquella figura contrahecha, armada', 'de armas tan desiguales como eran la brida, lanza, adarga y coselete, no', 'estuvo en nada en acompañar a las doncellas en las muestras de su contento.', 'Mas, en efeto, temiendo la máquina de tantos pertrechos, determinó de', 'hablarle comedidamente; y así, le dijo:', '', '-Si vuestra merced, señor caballero, busca posada, amén del lecho (porque', 'en esta venta no hay ninguno), todo lo demás se hallará en ella en mucha', 'abundancia.', '', 'Viendo don Quijote la humildad del alcaide de la fortaleza, que tal le', 'pareció a él el ventero y la venta, respondió:', '', '   -Para mí, señor castellano, cualquiera cosa basta, porque', '   mis arreos son las armas,', '   mi descanso el pelear, etc.', '', 'Pensó el huésped que el haberle llamado castellano había sido por haberle', 'parecido de los sanos de Castilla, aunque él era andaluz, y de los de la', 'playa de Sanlúcar, no menos ladrón que Caco, ni menos maleante que', 'estudiantado paje; y así, le respondió:', '', '-Según eso, las camas de vuestra merced serán duras peñas, y su dormir,', 'siempre velar; y siendo así, bien se puede apear, con seguridad de hallar', 'en esta choza ocasión y ocasiones para no dormir en todo un año, cuanto más', 'en una noche.', '', 'Y, diciendo esto, fue a tener el estribo a don Quijote, el cual se apeó con', 'mucha dificultad y trabajo, como aquel que en todo aquel día no se había', 'desayunado.', '', 'Dijo luego al huésped que le tuviese mucho cuidado de su caballo, porque', 'era la mejor pieza que comía pan en el mundo. Miróle el ventero, y no le', 'pareció tan bueno como don Quijote decía, ni aun la mitad; y, acomodándole', 'en la caballeriza, volvió a ver lo que su huésped mandaba, al cual estaban', 'desarmando las doncellas, que ya se habían reconciliado con él; las cuales,', 'aunque le habían quitado el peto y el espaldar, jamás supieron ni pudieron', 'desencajarle la gola, ni quitalle la contrahecha celada, que traía atada', 'con unas cintas verdes, y era menester cortarlas, por no poderse quitar los', 'ñudos; mas él no lo quiso consentir en ninguna manera, y así, se quedó toda', 'aquella noche con la celada puesta, que era la más graciosa y estraña', 'figura que se pudiera pensar; y, al desarmarle, como él se imaginaba que', 'aquellas traídas y llevadas que le desarmaban eran algunas principales', 'señoras y damas de aquel castillo, les dijo con mucho donaire:', '', '   -Nunca fuera caballero', '   de damas tan bien servido', '   como fuera don Quijote', '   cuando de su aldea vino:', '   doncellas curaban dél;', '   princesas, del su rocino,', '', 'o Rocinante, que éste es el nombre, señoras mías, de mi caballo, y don', 'Quijote de la Mancha el mío; que, puesto que no quisiera descubrirme fasta', 'que las fazañas fechas en vuestro servicio y pro me descubrieran, la fuerza', 'de acomodar al propósito presente este romance viejo de Lanzarote ha sido', 'causa que sepáis mi nombre antes de toda sazón; pero, tiempo vendrá en que', 'las vuestras señorías me manden y yo obedezca, y el valor de mi brazo', 'descubra el deseo que tengo de serviros.', '', 'Las mozas, que no estaban hechas a oír semejantes retóricas, no respondían', 'palabra; sólo le preguntaron si quería comer alguna cosa.', '', '-Cualquiera yantaría yo -respondió don Quijote-, porque, a lo que entiendo,', 'me haría mucho al caso.', '', 'A dicha, acertó a ser viernes aquel día, y no había en toda la venta sino', 'unas raciones de un pescado que en Castilla llaman abadejo, y en Andalucía', 'bacallao, y en otras partes curadillo, y en otras truchuela. Preguntáronle', 'si por ventura comería su merced truchuela, que no había otro pescado que', 'dalle a comer.', '', '-Como haya muchas truchuelas -respondió don Quijote-, podrán servir de una', 'trucha, porque eso se me da que me den ocho reales en sencillos que en una', 'pieza de a ocho. Cuanto más, que podría ser que fuesen estas truchuelas', 'como la ternera, que es mejor que la vaca, y el cabrito que el cabrón.', 'Pero, sea lo que fuere, venga luego, que el trabajo y peso de las armas no', 'se puede llevar sin el gobierno de las tripas.', '', 'Pusiéronle la mesa a la puerta de la venta, por el fresco, y trújole el', 'huésped una porción del mal remojado y peor cocido bacallao, y un pan tan', 'negro y mugriento como sus armas; pero era materia de grande risa verle', 'comer, porque, como tenía puesta la celada y alzada la visera, no podía', 'poner nada en la boca con sus manos si otro no se lo daba y ponía; y ansí,', 'una de aquellas señoras servía deste menester. Mas, al darle de beber, no', 'fue posible, ni lo fuera si el ventero no horadara una caña, y puesto el un', 'cabo en la boca, por el otro le iba echando el vino; y todo esto lo recebía', 'en paciencia, a trueco de no romper las cintas de la celada.', '', 'Estando en esto, llegó acaso a la venta un castrador de puercos; y, así', 'como llegó, sonó su silbato de cañas cuatro o cinco veces, con lo cual', 'acabó de confirmar don Quijote que estaba en algún famoso castillo, y que', 'le servían con música, y que el abadejo eran truchas; el pan, candeal; y', 'las rameras, damas; y el ventero, castellano del castillo, y con esto daba', 'por bien empleada su determinación y salida. Mas lo que más le fatigaba era', 'el no verse armado caballero, por parecerle que no se podría poner', 'legítimamente en aventura alguna sin recebir la orden de caballería.', '', '', '', '', '', 'Capítulo III. Donde se cuenta la graciosa manera que tuvo don Quijote en']\n"
     ]
    }
   ],
   "source": [
    "# 2. Leyendo datos de un fichero\n",
    "quijote = sc.textFile(\"data/quijote.txt\")\n",
    "print(quijote.take(1000))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Particiones\n",
    "\n",
    "Spark divide el RDD en en conjunto de particiones\n",
    "\n",
    "-   El número de particiones por defecto es función del tamaño del\n",
    "    cluster o del número de bloques del fichero (p.e. bloques HDFS)\n",
    "\n",
    "-   Se puede especificar otro valor en el momento de crear el RDD"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "rdd1:  [[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15], [16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31], [32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47], [48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63], [64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79], [80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99]]\n",
      "1\n",
      "------------\n",
      "[[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15], [16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31], [32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47], [48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63], [64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79], [80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99]]\n",
      "6\n"
     ]
    }
   ],
   "source": [
    "import numpy as np\n",
    "rdd1 = sc.parallelize(np.array(range(100)))\n",
    "print(\"rdd1: \", rdd2.glom().collect())\n",
    "print(rdd1.getNumPartitions())\n",
    "print(\"------------\")\n",
    "rdd2 = sc.parallelize(np.array(range(100)), 6)\n",
    "print(rdd2.glom().collect())\n",
    "print(rdd2.getNumPartitions())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Transformaciones\n",
    "\n",
    "Operaciones sobre RDDs que devuelven un nuevo RDD\n",
    "\n",
    "-   Se computan de forma “perezosa” ( *lazy* )\n",
    "\n",
    "-   Normalmente, ejecutan una función (anónima o no) sobre cada uno de\n",
    "    los elementos del RDD de origen"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "PythonRDD[63] at RDD at PythonRDD.scala:49"
      ]
     },
     "execution_count": 34,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "quijs = quijote.filter(lambda l: \"Quijote\" in l)\n",
    "sanchs = quijote.filter(lambda l: \"Sancho\" in l)\n",
    "quijssancs = quijs.intersection(sanchs)\n",
    "quijssancs.cache()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Transformaciones elemento-a-elemento\n",
    "\n",
    "Generan un nuevo RDD a partir de uno dado\n",
    "\n",
    "Todas las transformaciones:\n",
    "- filter(func)\n",
    "- map(func)\n",
    "- flatMap(func)\n",
    "- sample(withReplacement, faction, seed=None)\n",
    "- distinct(func)\n",
    "- groupBy(func)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "---\n",
    "* `map(func)` aplica una función a los elementos de un RDD"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 72,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[0, 1, 2, 3, 4]\n",
      "[0, 1, 2, 3, 4]\n"
     ]
    }
   ],
   "source": [
    "# Obtener los valores positivos de un rango de números\n",
    "rdd = sc.parallelize(range(-5, 5))          # Rango [-5, 5)\n",
    "filtered_rdd = rdd.filter(lambda x: x >= 0)   # Devuelve los positivos\n",
    "assert filtered_rdd.collect() == [0, 1, 2, 3, 4]\n",
    "\n",
    "print(filtered_rdd.collect())\n",
    "print([0, 1, 2, 3, 4])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* `filter(func)` filtra los elementos de un RDD"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "RDD original: [0, 1, 2, 3, 4]\n",
      "Resultado Esperado: [(1, 1), (2, 4), (3, 9), (4, 16), (5, 25)]\n",
      "Resultado obtenido [(1, 1), (2, 4), (3, 9), (4, 16), (5, 25)]\n"
     ]
    }
   ],
   "source": [
    "def add1(x):\n",
    "    return(x+1)\n",
    "\n",
    "print(\"RDD original:\", filtered_rdd.collect())\n",
    "squared_rdd = (filtered_rdd\n",
    "               .map(add1)                 # Añade 1 a cada elemento del RDD\n",
    "               .map(lambda x: (x, x*x)))  # Para cada elemento, obtén una tupla (x, x**2)\n",
    "\n",
    "print(\"Resultado Esperado:\", [(1, 1), (2, 4), (3, 9), (4, 16), (5, 25)])\n",
    "print(\"Resultado obtenido\", squared_rdd.collect())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* `flatMap(func)` igual que `map`, pero “aplana” la salida"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Resultado Esperado: [1, 1, 2, 4, 3, 9, 4, 16, 5, 25]\n",
      "Resultado obtenido [1, 1, 2, 4, 3, 9, 4, 16, 5, 25]\n"
     ]
    }
   ],
   "source": [
    "squaredflat_rdd = (filtered_rdd\n",
    "                   .map(add1)\n",
    "                   .flatMap(lambda x: (x, x*x)))  # Da la salida en forma de lista\n",
    "\n",
    "print(\"Resultado Esperado:\", [1, 1, 2, 4, 3, 9, 4, 16, 5, 25])\n",
    "print(\"Resultado obtenido\", squaredflat_rdd.collect())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* `sample(withReplacement, fraction, seed=None)` devuelve una muestra del RDD\n",
    "    * `withReplacement` - si True, cada elemento puede aparecer varias veces en la muestra\n",
    "    * `fraction` - tamaño esperado de la muestra como una fracción del tamaño del RDD \n",
    "        -  **sin reemplazo**: probabilidad de seleccionar un elemento, su valor debe ser [0, 1]\n",
    "        -  **con reemplazo**: número esperado de veces que se escoge un elemento, su valor debe ser >= 0\n",
    "    \n",
    "    * `seed` - semilla para el generador de números aleatorios"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "s1=[1, 4, 3, 9, 4, 5]\n",
      "s2=[1, 1, 1, 2, 4, 4, 4, 3, 3, 9, 9, 4, 4, 16, 16, 5, 25, 25]\n",
      "s3=[1, 2, 3, 4, 16, 5, 25]\n"
     ]
    }
   ],
   "source": [
    "srdd1 = squaredflat_rdd.sample(False, 0.5)\n",
    "srdd2 = squaredflat_rdd.sample(True, 2)\n",
    "srdd3 = squaredflat_rdd.sample(False, 0.8, 14)\n",
    "print('s1={0}\\ns2={1}\\ns3={2}'.format(srdd1.collect(), srdd2.collect(), srdd3.collect()))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* `distinct()` devuelve un nuevo RDD sin duplicados\n",
    "    * El orden de la salida no está definido"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Original:  [1, 1, 2, 4, 3, 9, 4, 16, 5, 25]\n",
      "Resultado:  [16, 1, 2, 3, 4, 5, 9, 25]\n"
     ]
    }
   ],
   "source": [
    "distinct_rdd = squaredflat_rdd.distinct()\n",
    "print(\"Original: \", squaredflat_rdd.collect())\n",
    "print(\"Resultado: \", distinct_rdd.collect())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* `groupBy(func)` devuelve un RDD con los datos agrupados en formato clave/valor, \n",
    "usando una función para obtener la clave"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 73,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[(0, <pyspark.resultiterable.ResultIterable object at 0x7f07c71ae630>), (1, <pyspark.resultiterable.ResultIterable object at 0x7f07c71ae8d0>), (2, <pyspark.resultiterable.ResultIterable object at 0x7f07c71fec50>)]\n",
      "[(0, [3, 9]), (1, [1, 4, 16, 25]), (2, [2, 5])]\n"
     ]
    }
   ],
   "source": [
    "grouped_rdd = distinct_rdd.groupBy(lambda x: x%3)\n",
    "print(grouped_rdd.collect())\n",
    "print([(x,sorted(y)) for (x,y) in grouped_rdd.collect()])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "---\n",
    "### Transformaciones sobre dos RDDs\n",
    "\n",
    "Operaciones tipo conjunto sobre dos RDDs\n",
    "\n",
    "Transformaciones disponibles:\n",
    "* `rdda.union(rddb)`\n",
    "* `rdda.intersection(rddb)`\n",
    "* `rdda.subtract(rddb)`\n",
    "* `rdda.cartesian(rddb)`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "---\n",
    "* `rdda.union(rddb)` devuelve un RDD con los datos de los dos de partida"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 76,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Resultado Esperado: ['a', 'b', 'c', 'c', 'd', 'e']\n",
      "Resultado obtenido ['a', 'b', 'c', 'c', 'd', 'e']\n"
     ]
    }
   ],
   "source": [
    "rdda = sc.parallelize(['a', 'b', 'c'])\n",
    "rddb = sc.parallelize(['c', 'd', 'e'])\n",
    "rddu = rdda.union(rddb)\n",
    "\n",
    "print(\"Resultado Esperado:\", ['a', 'b', 'c', 'c', 'd', 'e'])\n",
    "print(\"Resultado obtenido\", rddu.collect())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* `rdda.intersection(rddb)` devuelve un RDD con los datos comunes en ambos RDDs"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 81,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Resultado Esperado: ['c']\n",
      "Resultado obtenido ['c']\n"
     ]
    }
   ],
   "source": [
    "rddi = rdda.intersection(rddb)\n",
    "print(\"Resultado Esperado:\", ['c'])\n",
    "print(\"Resultado obtenido\", rddi.collect())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* `rdda.subtract(rddb)` devuelve un RDD con los datos del primer RDD menos los del segundo"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 82,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Resultado Esperado: ['a', 'b']\n",
      "Resultado obtenido ['b', 'a']\n"
     ]
    }
   ],
   "source": [
    "rdds = rdda.subtract(rddb)\n",
    "print(\"Resultado Esperado:\", ['a', 'b'])\n",
    "print(\"Resultado obtenido\", rdds.collect())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 84,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Resultado Esperado: [('a', 'c'), ('a', 'd'), ('a', 'e'), ('b', 'c'), ('b', 'd'), ('b', 'e'), ('c', 'c'), ('c', 'd'), ('c', 'e')]\n",
      "Resultado obtenido [('a', 'c'), ('a', 'd'), ('a', 'e'), ('b', 'c'), ('b', 'd'), ('b', 'e'), ('c', 'c'), ('c', 'd'), ('c', 'e')]\n"
     ]
    }
   ],
   "source": [
    "rddc = rdda.cartesian(rddb)\n",
    "print(\"Resultado Esperado:\", [('a','c'),('a','d'),('a','e'),('b','c'),('b','d'),('b','e'),('c','c'), ('c','d'), ('c','e')])\n",
    "print(\"Resultado obtenido\", rddc.collect())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Acciones\n",
    "\n",
    "Obtienen datos de salida a partir de los RDDs\n",
    "* Devuelven valores al driver o al sistema de almacenamiento\n",
    "* Fuerzan a que se realicen las transformaciones pendientes"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Acciones sobre RDDs simples\n",
    "\n",
    "Obtienen datos (simples o compuestos) a partir de un RDD"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Principales acciones de agregación: `reduce` y `fold`\n",
    "\n",
    "* `reduce(op)` combina los elementos de un RDD en paralelo, aplicando un operador\n",
    "    * El operador de reducción debe ser un *monoide conmutativo* (operador binario asociativo y conmutativo)\n",
    "    * Primero se realiza la redución a nivel de partición y luego se van reduciendo los valores intermedios"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 94,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[1], [2], [3], [4], [5], [6], [7], [8, 9]]\n",
      "1*2*3*4*5*6*7*8*9 = 362880\n",
      "1+2+3+4+5+6+7+8+9 = 45\n",
      "1-2-3-4-5-6-7-8-9 = -25\n"
     ]
    }
   ],
   "source": [
    "rdd = sc.parallelize(range(1,10), 8)  # rango [1, 10)\n",
    "print(rdd.glom().collect())\n",
    "\n",
    "# Reducción con una función lambda\n",
    "p = rdd.reduce(lambda x,y: x*y) # r = 1*2*3*4*5*6*7*8*9 = 362880\n",
    "print(\"1*2*3*4*5*6*7*8*9 = {0}\".format(p))\n",
    "\n",
    "# Reducción con un operador predefinido\n",
    "from operator import add\n",
    "s = rdd.reduce(add) # s = 1+2+3+4+5+6+7+8+9 = 45\n",
    "print(\"1+2+3+4+5+6+7+8+9 = {0}\".format(s))\n",
    "\n",
    "# Prueba con un operador no conmutativo\n",
    "p = rdd.reduce(lambda x,y: x-y) # r = 1-2-3-4-5-6-7-8-9 = -43\n",
    "print(\"1-2-3-4-5-6-7-8-9 = {0}\".format(p))\n",
    "\n",
    "# No funciona con RDDs vacíos\n",
    "#sc.parallelize([]).reduce(add)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* `fold(cero, op)` versión general de `reduce`: \n",
    "    * Debemos proporcionar un valor inicial `cero` para el operador\n",
    "    * El valor inicial debe ser el valor identidad para el operador (p.e. 0 para suma; 1 para producto, o una lista vacía para concatenación de listas)\n",
    "        * Permite utilizar RDDs vacíos\n",
    "    * La función `op` debe ser un monoide conmutativo para garantizar un resultado consistente\n",
    "        * Comportamiento diferente a las operaciones `fold` de lenguajes como Scala\n",
    "        * El operador se aplica a nivel de partición (usando `cero` como valor inicial), y finalmente entre todas las particiones (usando `cero`de nuevo)\n",
    "        * Para operadores no conmutativos el resultado podría ser diferente del obtenido mediante un `fold` secuencial"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 117,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[[1, 2, 3, 4], [-10, -9, -8, -7, -6, -5, -4], ['a', 'b', 'c']]]\n",
      "[1, 2, 3, 4, -10, -9, -8, -7, -6, -5, -4, 'a', 'b', 'c']\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "0"
      ]
     },
     "execution_count": 117,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "rdd = sc.parallelize([[1, 2, 3, 4], [-10, -9, -8, -7, -6, -5, -4], ['a', 'b', 'c']])\n",
    "print(rdd.glom().collect())\n",
    "\n",
    "f = rdd.fold([], lambda x,y: x+y)\n",
    "print(f)\n",
    "\n",
    "# Se puede hacer un fold de un RDD vacío\n",
    "sc.parallelize([]).fold(0, add)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Otras acciones de agregación: `aggregate`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* `aggregate(cero,seqOp,combOp)`: Devuelve una colección agregando los elementos del RDD usando dos funciones:\n",
    "    1. `seqOp` -  agregación a nivel de partición: se crea un acumulador por partición (inicializado a `cero`) y se agregan los valores de la partición en el acumulador\n",
    "    2. `combOp` - agregación entre particiones: se agregan los acumuladores de todas las particiones\n",
    "    *  Ambas agregaciones usan un valor inicial `cero` (similar al caso de `fold`).\n",
    "\n",
    "* Versión general de `reduce` y `fold`    \n",
    "* La primera función (`seqOp`) puede devolver un tipo, U, diferente del tipo T de los elementos del RDD\n",
    "    * `seqOp` agregar datos de tipo T y devuelve un tipo U\n",
    "    * `combOp` agrega datos de tipo U\n",
    "    * `cero` debe ser de tipo U\n",
    "* Permite devolver un tipo diferente al de los elementos del RDD de entrada."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 120,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "([1, 4, 9, 16, 25, 36, 49, 64], 40320.0, 8)\n",
      "Resultado Esperado: 40320.0\n",
      "Resultado obtenido 40320.0\n",
      "--------------\n",
      "Resultado Esperado: 8\n",
      "Resultado obtenido 8\n"
     ]
    }
   ],
   "source": [
    "l = [1, 2, 3, 4, 5, 6, 7, 8]\n",
    "rdd = sc.parallelize(l)\n",
    "\n",
    "# acc es una tupla de tres elementos (List, Double, Int)\n",
    "# En el primer elemento de acc (lista) le concatenamos los elementos del RDD al cuadrado\n",
    "# en el segundo, acumulamos los elementos del RDD usando multiplicación\n",
    "# y en el tercero, contamos los elementos del RDD\n",
    "seqOp  = (lambda acc, val: (acc[0]+[val*val], \n",
    "                            acc[1]*val, \n",
    "                            acc[2]+1))\n",
    "# Para cada partición se genera una tupla tipo acc\n",
    "# En esta operación se combinan los tres elementos de las tuplas\n",
    "combOp = (lambda acc1, acc2: (acc1[0]+acc2[0], \n",
    "                              acc1[1]*acc2[1], \n",
    "                              acc1[2]+acc2[2]))\n",
    "                              \n",
    "a = rdd.aggregate(([], 1., 0), seqOp, combOp) \n",
    "\n",
    "print(a)\n",
    "\n",
    "\n",
    "print(\"Resultado Esperado:\", a[1])\n",
    "print(\"Resultado obtenido\", 8.*7.*6.*5.*4.*3.*2.*1.)\n",
    "print(\"--------------\")\n",
    "print(\"Resultado Esperado:\", a[2])\n",
    "print(\"Resultado obtenido\", len(l))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Acciones para contar elementos\n",
    "- `count()` devuelve un entero con el número exacto de elementos del RDD\n",
    "- `countApprox(timeout, confidence=0.95)` versión aproximada de `count()` que devuelve un resultado potencialmente incompleto en un tiempo máximo, incluso si no todas las tareas han finalizado. (Experimental).\n",
    "    - `timeout` es un entero largo e indica el tiempo en milisegundos\n",
    "    - `confidence` probabilidad de obtener el valor real. Si `confidence` es 0.90 quiere decir que si se ejecuta múltiples veces, se espera que el 90% de ellas se obtenga el valor correcto. Valor [0,1]\n",
    "- `countApproxDistinct(relativeSD=0.05)` devuelve una estimación del número de elementos diferentes del RDD.  (Experimental).\n",
    "    - `relativeSD` – exactitud relativa (valores más pequeños implican menor error, pero requieren más memoria; debe ser mayor que 0.000017).\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 126,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Número total de elementos: 10000\n",
      "Número de elementos distintos: 20\n",
      "Número total de elementos (aprox.): 10000\n",
      "Número de elementos distintos (approx.): 18\n"
     ]
    }
   ],
   "source": [
    "rdd = sc.parallelize([i % 20 for i in range(10000)], 16)\n",
    "#print(rdd.collect())\n",
    "print(\"Número total de elementos: {0}\".format(rdd.count()))\n",
    "print(\"Número de elementos distintos: {0}\".format(rdd.distinct().count()))\n",
    "\n",
    "print(\"Número total de elementos (aprox.): {0}\".format(rdd.countApprox(1, 0.4)))\n",
    "print(\"Número de elementos distintos (approx.): {0}\".format(rdd.countApproxDistinct(0.5)))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- `countByValue()` devuelve el número de apariciones de cada elemento del RDD como un mapa (o diccionario) de tipo clave/valor\n",
    "    - Las claves son los elementos del RDD y cada valor, el número de ocurrencias de la clave asociada al mismo      "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 127,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'collections.defaultdict'>\n",
      "dict_items([('c', 1), ('d', 1), ('b', 2), ('a', 5), ('r', 2)])\n"
     ]
    }
   ],
   "source": [
    "rdd = sc.parallelize(list(\"abracadabra\")).cache()\n",
    "mimapa = rdd.countByValue()\n",
    "\n",
    "print(type(mimapa))\n",
    "print(mimapa.items())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Acciones para obtener valores\n",
    "\n",
    "Estos métodos deben usarse con cuidado, si el resultado esperado es muy grande puede saturar la memoria del driver"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "-   `collect()` devuelve una lista con todos los elementos del RDD"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 130,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['a', 'b', 'r', 'a', 'c', 'a', 'd', 'a', 'b', 'r', 'a']\n"
     ]
    }
   ],
   "source": [
    "lista = rdd.collect()\n",
    "print(lista)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- `take(n)` devuelve los `n` primeros elementos del RDD\n",
    "- `takeSample(withRep, n, [seed])` devuelve `n` elementos aleatorios del RDD\n",
    "    - `withRep`: si True, en la muestra puede aparecer el mismo elemento varias veces\n",
    "    - `seed`: semilla para el generador de números aleatorios"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 136,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['a', 'b', 'r', 'a']\n",
      "['r', 'd', 'a', 'a']\n"
     ]
    }
   ],
   "source": [
    "t = rdd.take(4)\n",
    "print(t)\n",
    "s = rdd.takeSample(False, 4)\n",
    "print(s)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- `top(n)` devuelve una lista con los primeros `n` elementos del RDD ordenados en orden descendente\n",
    "- `takeOrdered(n,[orden])` devuelve una lista con los primeros `n` elementos del RDD en orden ascendente (opuesto a `top`), o siguiendo el orden indicado en la función opcional"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 137,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "4 elementos más grandes: [10, 9, 8, 7]\n",
      "4 elementos más pequeños: [1, 2, 3, 4]\n",
      "4 elementos más grandes: [10, 9, 8, 7]\n"
     ]
    }
   ],
   "source": [
    "rdd = sc.parallelize([8, 4, 2, 9, 3, 1, 10, 5, 6, 7]).cache()\n",
    "\n",
    "print(\"4 elementos más grandes: {0}\".format(rdd.top(4)))\n",
    "print(\"4 elementos más pequeños: {0}\".format(rdd.takeOrdered(4)))\n",
    "print(\"4 elementos más grandes: {0}\".format(rdd.takeOrdered(4, lambda x: -x)))"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.5.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}