lm-french.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "nbpresent": {
     "id": "e38c0aad-6ca2-456d-b908-cbbec3c9e34d"
    }
   },
   "source": [
    "# French Bidirectional Language Model (LM) from scratch\n",
    "### (architecture AWD-LSTM, spaCy tokenizer)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- Author: [Pierre Guillou](https://www.linkedin.com/in/pierreguillou)\n",
    "- Date: September 2019\n",
    "- Post in medium: [link](https://medium.com/@pierre_guillou/nlp-fastai-french-language-model-d0e2a9e12cab)\n",
    "- Ref: [Fastai v1](https://docs.fast.ai/) (Deep Learning library on PyTorch)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Information**\n",
    "\n",
    "The spaCy tokenizer and an AWD-LSTM architecture have been used in this notebook to create a **French Bidirectional Language Model** trained on subset of Wikipedia (subset of about 100 millions tokens). According to the new article MultiFiT (September 10, 2019), it should be interesting to use a subword tokenizer such as SentencePiece and a QRNN architecture (faster during the training and with a possible gain in accuracy).\n",
    "\n",
    "- Article: \"[MultiFiT: Efficient Multi-lingual Language Model Fine-tuning](https://arxiv.org/abs/1909.04761)\"\n",
    "- French Bidirectional Language Model trained with an QRNN architecture and the SentencePiece tokenizer ([lm2-french.ipynb](https://github.com/piegu/language-models/blob/master/lm-french.ipynb))\n",
    "\n",
    "**Wikipedia corpus**\n",
    "- download: 512 659 articles of 492 596 078 tokens\n",
    "- used: 13 919 articles of about 100 000 000 tokens\n",
    "\n",
    "**Hyperparameters values**\n",
    "- (batch size) bs = 128\n",
    "- (AWD-LSTM) 3 AWD-LSTM (default: 3) with 1152 hidden parameters each one (default: 1152) (note: it would have been better to move to 4 QRNN with 1550 hidden parameters like described in the article)\n",
    "- (spaCy) vocab of 60000 tokens, min_freq = 2\n",
    "- (dropout) mult_drop = 0.5\n",
    "- (weight decay) wd = 0.01\n",
    "- (number of training epochs) 10 epochs"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "## Results"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "### Accuracy and Perplexity"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "- forward : (accuracy) 36.44% | (perplexity) 25.62 \n",
    "- backward: (accuracy) 42.65% | (perplexity) 27.09"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "### To be improved"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "- **subset of 100 millions tokens from Wikipedia download**: we kept the biggest article. To get more diversity, we should have kept the lowest ones.\n",
    "- **bs (batch size)**: we could have use a lower value (50 instead of 128) in order to get more training iterations.\n",
    "- **mult_dropout**: we should have put it to 0 in order to not regularize our corpus which was big (100 millions tokens).\n",
    "- **AWD_LSTM**: we could have used more layers (4 instead of 3) with more hidden parameters for each one (1150 instead of 1152) in order to extract more information from  our corpus."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Initialisation"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "nbpresent": {
     "id": "151cd18f-76e3-440f-a8c7-ffa5c6b5da01"
    }
   },
   "outputs": [],
   "source": [
    "from fastai import *\n",
    "from fastai.text import *\n",
    "from fastai.callbacks import *\n",
    "\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "%reload_ext autoreload\n",
    "%autoreload 2\n",
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "nbpresent": {
     "id": "96f02439-3586-4c9d-8c34-aa7c3b17a0a6"
    }
   },
   "outputs": [],
   "source": [
    "# batch size to be choosen according to your GPU \n",
    "# bs=48\n",
    "# bs=24\n",
    "bs=128"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "nbpresent": {
     "id": "6ceb4db2-e4cf-4fe0-a393-91df4a7ed3e7"
    }
   },
   "outputs": [],
   "source": [
    "torch.cuda.set_device(0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "nbpresent": {
     "id": "6329e650-fc03-4323-ac0c-3aa280e0de91"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "fastai: 1.0.57\n",
      "cuda: True\n"
     ]
    }
   ],
   "source": [
    "import fastai\n",
    "print(f'fastai: {fastai.__version__}')\n",
    "print(f'cuda: {torch.cuda.is_available()}')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "nbpresent": {
     "id": "6f24e68b-3df0-4997-8a50-3a37ea6a5257"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r\n",
      "\r\n",
      "```text\r\n",
      "=== Software === \r\n",
      "python        : 3.7.4\r\n",
      "fastai        : 1.0.57\r\n",
      "fastprogress  : 0.1.21\r\n",
      "torch         : 1.2.0\r\n",
      "nvidia driver : 410.104\r\n",
      "torch cuda    : 10.0.130 / is available\r\n",
      "torch cudnn   : 7602 / is enabled\r\n",
      "\r\n",
      "=== Hardware === \r\n",
      "nvidia gpus   : 1\r\n",
      "torch devices : 1\r\n",
      "  - gpu0      : 16130MB | Tesla V100-SXM2-16GB\r\n",
      "\r\n",
      "=== Environment === \r\n",
      "platform      : Linux-4.9.0-9-amd64-x86_64-with-debian-9.9\r\n",
      "distro        : #1 SMP Debian 4.9.168-1+deb9u5 (2019-08-11)\r\n",
      "conda env     : base\r\n",
      "python        : /opt/anaconda3/bin/python\r\n",
      "sys.path      : /home/jupyter/tutorials/fastai/course-nlp\r\n",
      "/opt/anaconda3/lib/python37.zip\r\n",
      "/opt/anaconda3/lib/python3.7\r\n",
      "/opt/anaconda3/lib/python3.7/lib-dynload\r\n",
      "/opt/anaconda3/lib/python3.7/site-packages\r\n",
      "/opt/anaconda3/lib/python3.7/site-packages/IPython/extensions\r\n",
      "```\r\n",
      "\r\n",
      "Please make sure to include opening/closing ``` when you paste into forums/github to make the reports appear formatted as code sections.\r\n",
      "\r\n",
      "Optional package(s) to enhance the diagnostics can be installed with:\r\n",
      "pip install distro\r\n",
      "Once installed, re-run this utility to get the additional information\r\n"
     ]
    }
   ],
   "source": [
    "!python -m fastai.utils.show_install"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "nbpresent": {
     "id": "194a6989-31f1-4702-b94d-32b974ded8e6"
    }
   },
   "outputs": [],
   "source": [
    "data_path = Config.data_path()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "nbpresent": {
     "id": "cf070ab7-babb-4cf0-a315-401f65461dc8"
    }
   },
   "source": [
    "This will create a `{lang}wiki` folder, containing a `{lang}wiki` text file with the wikipedia contents. (For other languages, replace `{lang}` with the appropriate code from the [list of wikipedias](https://meta.wikimedia.org/wiki/List_of_Wikipedias).)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "nbpresent": {
     "id": "70da588b-8af1-4f97-97c2-c9f2d4d46e1a"
    }
   },
   "outputs": [],
   "source": [
    "lang = 'fr'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "nbpresent": {
     "id": "701ab344-0430-4f43-bbe2-337a12cae6be"
    }
   },
   "outputs": [],
   "source": [
    "name = f'{lang}wiki'\n",
    "path = data_path/name\n",
    "path.mkdir(exist_ok=True, parents=True)\n",
    "\n",
    "lm_fns = [f'{lang}_wt', f'{lang}_wt_vocab']\n",
    "lm_fns_bwd = [f'{lang}_wt_bwd', f'{lang}_wt_vocab_bwd']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "nbpresent": {
     "id": "bfe49910-58e0-4be3-aba1-7733dc18cca2"
    }
   },
   "source": [
    "## French wikipedia model"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true,
    "nbpresent": {
     "id": "4e67d876-c7d0-4bdf-a6f9-ae06ae1fc023"
    }
   },
   "source": [
    "### Download data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "dd2fd658-b690-484c-b60a-69dc6b7bf384"
    }
   },
   "outputs": [],
   "source": [
    "# from nlputils import split_wiki,get_wiki\n",
    "from nlputils2 import *"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "28c01920-f13c-493e-9a97-e5b2c24133a8"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 27 s, sys: 10.5 s, total: 37.6 s\n",
      "Wall time: 36min 42s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "get_wiki_download(path,lang)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "18e92e92-0524-48a8-bac4-af02bef12e6a"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "unzipping...\n",
      "CPU times: user 12min 24s, sys: 18.2 s, total: 12min 42s\n",
      "Wall time: 13min 33s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "get_wiki_unzip(path,lang)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "b4f674da-c7e3-4a05-b5c1-d961d12aadd9"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "extracting...\n",
      "CPU times: user 68 ms, sys: 8 ms, total: 76 ms\n",
      "Wall time: 15min 54s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "get_wiki_extract(path,lang)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "e6eae780-775e-45e9-9b99-b8a87d5fb8ff"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[PosixPath('/home/jupyter/.fastai/data/frwiki/frwiki-latest-pages-articles.xml'),\n",
       " PosixPath('/home/jupyter/.fastai/data/frwiki/frwiki'),\n",
       " PosixPath('/home/jupyter/.fastai/data/frwiki/wikiextractor'),\n",
       " PosixPath('/home/jupyter/.fastai/data/frwiki/frwiki-latest-pages-articles.xml.bz2'),\n",
       " PosixPath('/home/jupyter/.fastai/data/frwiki/log')]"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "path.ls()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "e1ac63e7-1cbb-4996-838d-dc58446a65ef"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<doc id=\"3\" url=\"https://fr.wikipedia.org/wiki?curid=3\" title=\"Antoine Meillet\">\r\n",
      "Antoine Meillet\r\n",
      "\r\n",
      "Paul Jules Antoine Meillet, né le à Moulins (Allier) et mort le à Châteaumeillant (Cher), est le principal linguiste français des premières décennies du . Il est aussiphilologue.\r\n"
     ]
    }
   ],
   "source": [
    "!head -n4 {path}/{name}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "ae770e72-e7a9-473d-8454-2020a0263be8"
    }
   },
   "source": [
    "This function splits the single wikipedia file into a separate file per article. This is often easier to work with."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "eaca937e-720a-4105-ba76-5dd3c0a2f842"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0\n",
      "100000\n",
      "200000\n",
      "300000\n",
      "400000\n",
      "500000\n",
      "600000\n",
      "700000\n",
      "800000\n",
      "900000\n",
      "1000000\n",
      "1100000\n",
      "1200000\n",
      "1300000\n",
      "1400000\n",
      "1500000\n",
      "1600000\n",
      "1700000\n",
      "1800000\n",
      "1900000\n",
      "2000000\n",
      "2100000\n",
      "2200000\n",
      "2300000\n",
      "2400000\n",
      "2500000\n",
      "2600000\n",
      "2700000\n",
      "2800000\n",
      "2900000\n",
      "3000000\n",
      "3100000\n",
      "3200000\n",
      "3300000\n",
      "3400000\n",
      "3500000\n",
      "3600000\n",
      "3700000\n",
      "3800000\n",
      "3900000\n",
      "4000000\n",
      "4100000\n",
      "4200000\n",
      "4300000\n",
      "4400000\n",
      "4500000\n",
      "4600000\n",
      "4700000\n",
      "4800000\n",
      "4900000\n",
      "5000000\n",
      "5100000\n",
      "5200000\n",
      "5300000\n",
      "5400000\n",
      "5500000\n",
      "5600000\n",
      "5700000\n",
      "5800000\n",
      "5900000\n",
      "6000000\n",
      "6100000\n",
      "6200000\n",
      "6300000\n",
      "6400000\n",
      "6500000\n",
      "6600000\n",
      "6700000\n",
      "6800000\n",
      "6900000\n",
      "7000000\n",
      "7100000\n",
      "7200000\n",
      "7300000\n",
      "7400000\n",
      "7500000\n",
      "7600000\n",
      "7700000\n",
      "7800000\n",
      "7900000\n",
      "8000000\n",
      "8100000\n",
      "8200000\n",
      "8300000\n",
      "8400000\n",
      "8500000\n",
      "8600000\n",
      "8700000\n",
      "8800000\n",
      "8900000\n",
      "9000000\n",
      "9100000\n",
      "9200000\n",
      "9300000\n",
      "9400000\n",
      "9500000\n",
      "9600000\n",
      "9700000\n",
      "9800000\n",
      "9900000\n",
      "10000000\n",
      "10100000\n",
      "10200000\n",
      "10300000\n",
      "10400000\n",
      "10500000\n",
      "10600000\n",
      "10700000\n",
      "10800000\n",
      "10900000\n",
      "11000000\n",
      "11100000\n",
      "11200000\n",
      "11300000\n",
      "11400000\n",
      "11500000\n",
      "11600000\n",
      "11700000\n",
      "11800000\n",
      "11900000\n",
      "12000000\n",
      "12100000\n",
      "12200000\n",
      "12300000\n",
      "12400000\n",
      "12500000\n",
      "12600000\n",
      "12700000\n",
      "12800000\n",
      "12900000\n",
      "13000000\n",
      "13100000\n",
      "13200000\n",
      "13300000\n",
      "13400000\n",
      "13500000\n",
      "13600000\n",
      "13700000\n",
      "13800000\n",
      "13900000\n",
      "14000000\n",
      "14100000\n",
      "14200000\n",
      "14300000\n",
      "14400000\n",
      "14500000\n",
      "14600000\n",
      "14700000\n",
      "14800000\n",
      "14900000\n",
      "15000000\n",
      "15100000\n",
      "15200000\n",
      "15300000\n",
      "15400000\n",
      "15500000\n",
      "15600000\n",
      "15700000\n",
      "15800000\n",
      "15900000\n",
      "16000000\n",
      "16100000\n",
      "16200000\n",
      "16300000\n",
      "16400000\n",
      "16500000\n",
      "16600000\n",
      "16700000\n",
      "16800000\n",
      "16900000\n",
      "17000000\n",
      "17100000\n",
      "17200000\n",
      "17300000\n",
      "17400000\n",
      "17500000\n",
      "17600000\n",
      "17700000\n",
      "17800000\n",
      "17900000\n",
      "18000000\n",
      "18100000\n",
      "18200000\n",
      "18300000\n",
      "18400000\n",
      "18500000\n",
      "18600000\n",
      "18700000\n",
      "18800000\n",
      "18900000\n",
      "19000000\n",
      "19100000\n",
      "19200000\n",
      "19300000\n",
      "19400000\n",
      "19500000\n",
      "19600000\n",
      "19700000\n",
      "19800000\n",
      "19900000\n",
      "20000000\n",
      "20100000\n",
      "20200000\n",
      "20300000\n",
      "20400000\n",
      "20500000\n",
      "CPU times: user 40.7 s, sys: 14.8 s, total: 55.5 s\n",
      "Wall time: 1min 18s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "dest = split_wiki2(path,lang)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "d23e0ef7-21e5-4cc5-945d-60ee33c02ce3"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 1min 31s, sys: 28.7 s, total: 2min\n",
      "Wall time: 8min 37s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "folder = \"docs\"\n",
    "clean_files(path,folder)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "92b0b087-a6a8-403a-a7a1-d9b47757e5cf"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[PosixPath('/home/jupyter/.fastai/data/frwiki/docs/Min_y_.txt'),\n",
       " PosixPath('/home/jupyter/.fastai/data/frwiki/docs/Darius_Johnson_Odom.txt'),\n",
       " PosixPath('/home/jupyter/.fastai/data/frwiki/docs/Guillaume_Cherel.txt'),\n",
       " PosixPath('/home/jupyter/.fastai/data/frwiki/docs/Henk_Badings.txt'),\n",
       " PosixPath('/home/jupyter/.fastai/data/frwiki/docs/Henri_de_Virel.txt')]"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dest = path/'docs'\n",
    "dest.ls()[:5]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true,
    "nbpresent": {
     "id": "575fa672-7b3a-4238-923f-ec929d3a00ee"
    }
   },
   "source": [
    "### Size of downloaded data in the docs folder"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "874abc1c-0592-45fb-b355-d475ad3214d0"
    }
   },
   "outputs": [],
   "source": [
    "dest = path/'docs'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "270470c2-e0eb-446a-9654-de6c45bc4f0d"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "512659 492596078\n",
      "CPU times: user 54.9 s, sys: 8.2 s, total: 1min 3s\n",
      "Wall time: 2min 47s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "num_files, num_tokens = get_num_tokens(dest)\n",
    "print(f'{num_files} files - {num_tokens} tokens')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true,
    "nbpresent": {
     "id": "daae36a0-d90b-45ad-b0e3-a2cd56ce7079"
    }
   },
   "source": [
    "### Create a corpus of about 100 millions of tokens"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "hidden": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "files copied to the new corpus folder: /home/jupyter/.fastai/data/frwiki/corpus_100000000\n",
      "CPU times: user 13.3 s, sys: 8.85 s, total: 22.1 s\n",
      "Wall time: 22.1 s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "path_corpus = get_corpus(dest, path, num_tokens, obj_tokens=1e8)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "%%time\n",
    "# VERIFICATION of the number of words in the corpus folder\n",
    "num_files_corpus, num_tokens_corpus = get_num_tokens(path_corpus)\n",
    "print(f'{num_files_corpus} files - {num_tokens_corpus} tokens')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "# change name of the corpus \n",
    "!mv {path}/'corpus_100000000' {path}/'corpus_100'"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Databunch"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {
    "nbpresent": {
     "id": "b60a9df8-d8ca-43cb-89a6-1ae8c65ea206"
    }
   },
   "outputs": [],
   "source": [
    "dest = {path}/'corpus_100'"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "nbpresent": {
     "id": "ec18e5b2-ffe2-4a99-8e66-44e62e8e0044"
    }
   },
   "source": [
    "### Forward"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "ab18a7b1-173e-4b69-9703-8d17a409da20"
    }
   },
   "outputs": [],
   "source": [
    "# %%time\n",
    "# data = (TextList.from_folder(dest)\n",
    "#             .split_by_rand_pct(0.1, seed=42)\n",
    "#             .label_for_lm()  \n",
    "#             .databunch(bs=bs, num_workers=1))\n",
    "\n",
    "# data.save(f'{path}/{lang}_databunch')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {
    "hidden": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 72 ms, sys: 8 ms, total: 80 ms\n",
      "Wall time: 78.9 ms\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "data = TextList.from_folder(dest)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "7bc684ed-6f54-420a-ad7c-368008018e21"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 4 ms, sys: 0 ns, total: 4 ms\n",
      "Wall time: 11.1 ms\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "data = data.split_by_rand_pct(0.1, seed=42)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "dd3ec429-a939-4ef3-b762-7d32e1179030"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 1min 33s, sys: 14.9 s, total: 1min 48s\n",
      "Wall time: 8min 22s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "data = data.label_for_lm()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "24599727-10c1-4997-af89-2b06ca603064"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 36 ms, sys: 0 ns, total: 36 ms\n",
      "Wall time: 68.1 ms\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "data = data.databunch(bs=bs, num_workers=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "08555480-513b-44a1-931d-9ed116e06d3b"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(12527, 1391)"
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(data.train_ds), len(data.valid_ds)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "c34b7ef0-afc3-46fe-9433-71667f95e9d7"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(60000, 848271)"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(data.vocab.itos),len(data.vocab.stoi)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "2dd94e19-f368-4724-8aed-b9934e428e0b"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Text xxbos xxmaj miguel xxmaj indurain xxmaj xxunk , né à xxmaj villava ( xxmaj navarre , xxmaj espagne ) le , est un coureur cycliste espagnol , professionnel de 1984 à 1996 . xxmaj il est le seul coureur à avoir remporté cinq fois consécutivement le xxmaj tour de xxmaj france , et a également gagné à deux reprises le xxmaj tour d'italie devenant le seul coureur à avoir réalisé le doublé \" xxmaj giro \"- xxmaj tour deux années d'affilée . xxmaj numéro un mondial de juin 1992 à juin 1994 , il remporte également un titre olympique et un titre mondial en contre - la - montre . xxmaj il a également été détenteur du record de l'heure . \n",
       " \n",
       "  à la suite d'une carrière amateur au cours de laquelle il remporte de nombreuses victoires , xxmaj miguel xxmaj indurain commence sa carrière professionnelle en septembre 1984 au sein de l'équipe xxmaj reynolds dirigée par xxmaj josé xxmaj miguel xxmaj xxunk . xxmaj remportant dès sa première saison sa première victoire , il décroche les années suivantes plusieurs victoires sur des courses espagnoles grâce notamment à ses aptitudes lors des épreuves contre - la - montre . xxmaj poursuivant sa progression dans les grands tours , il devient un des principaux équipiers de xxmaj pedro xxmaj delgado pour le xxmaj tour de xxmaj france . \n",
       " \n",
       "  xxmaj l'année 1991 marque un tournant dans la carrière xxunk . à la faveur d'une deuxième place lors du xxmaj tour d'espagne , il devient co - leader de son équipe avec xxmaj delgado . xxmaj il prend l'ascendant sur celui - ci en remportant en juillet sa première xxmaj grande xxmaj boucle . xxmaj ayant alors le xxmaj tour de xxmaj france comme objectif principal des saisons suivantes , xxmaj indurain s'y impose alors sans interruption jusqu'en 1995 , y ajoutant deux victoires sur le xxmaj tour d'italie en 1992 et 1993 et un titre de champion du monde du contre - la - montre , le record de l'heure et une place de mondial . \n",
       " \n",
       "  xxmaj ayant l'occasion de devenir le premier coureur cycliste à remporter à six reprises , qui plus est consécutivement , le xxmaj tour de xxmaj france en 1996 , il ne parvient pas à s'imposer lors de ce xxmaj tour gagné par le xxmaj danois xxmaj bjarne xxmaj riis . xxmaj le coureur navarrais met fin à sa carrière professionnelle quelques mois plus tard en janvier 1997 . \n",
       " \n",
       "  xxmaj deuxième enfant d'une famille d'agriculteurs de xxmaj villava , cité située à deux kilomètres de xxmaj pampelune , xxmaj miguel xxmaj indurain est né le . xxmaj il a un frère cadet , xxmaj xxunk , qui effectue une carrière de coureur cycliste professionnel de 1991 à 1999 , et trois sœurs nommées xxmaj isabel , xxmaj xxunk et xxmaj xxunk . xxmaj indurain aime initialement pratiquer l'athlétisme et plus spécifiquement le et il est alors un temps le meilleur jeune de xxmaj navarre de sa catégorie d'âge dans la discipline . xxmaj il effectue ses premiers coups de pédale à l'âge de 9 ans puis commence le cyclisme à 10 ans après s'être fait offrir un vélo d'occasion pour parcourir les qui séparent xxmaj villava xxunk , le village de sa mère . à onze ans , à la suite du vol de sa première bicyclette , son père lui offre un vélo de course . xxmaj avec sa nouvelle machine , xxmaj indurain remporte ses premiers succès . xxmaj il rejoint le \" en 1976 au sein duquel il remporte de nombreuses victoires sur des courses qui se disputent en xxmaj navarre et au xxmaj pays basque . xxmaj en 1981 , il se retrouve en catégorie xxmaj junior . xxmaj pour sa première année dans la catégorie , il remporte cinq courses . \n",
       " \n",
       "  xxmaj grâce aux victoires obtenues lors de l'année précédente ainsi que les onze courses remportées en début d'année 1982 , xxmaj miguel xxmaj indurain attire les regards de plusieurs équipes cyclistes xxunk . xxmaj il rejoint alors en cours d'année la section amateur de l'équipe xxmaj reynolds , do nt le responsable est xxmaj xxunk xxmaj xxunk . xxmaj il est alors semi - professionnel et se consacre donc à plein temps au cyclisme , délaissant les études . xxmaj après plusieurs mois sans victoire , il remporte le xxmaj championnat de xxmaj navarre puis le xxmaj championnat d'espagne amateur où il bat au sprint xxmaj xxunk xxmaj xxunk . xxmaj il remporte cette année - là cinq autres victoires individuelles et une par équipe . \n",
       " \n",
       "  xxmaj en 1984 , après avoir remporté d'autres victoires et avant de passer officiellement professionnel , xxmaj miguel xxmaj indurain fait partie de l'équipe d'espagne sélectionnée pour les xxmaj jeux olympiques . xxmaj participant à la course en ligne , il ne termine pas l'épreuve . \n",
       " \n",
       "  xxmaj la carrière professionnelle s'ouvre à xxmaj miguel xxmaj indurain en 1984 . xxmaj il rejoint alors l'équipe xxmaj reynolds , du nom d'une entreprise d'aluminium xxunk . xxmaj il reste au sein de cette structure , dirigée principalement par xxmaj josé xxmaj miguel xxmaj xxunk , durant toute sa carrière . xxmaj en 1989 , la banque xxmaj xxunk devient sponsor secondaire de l'équipe avant de devenir sponsor principal en 1990 . \n",
       " \n",
       "  xxmaj miguel xxmaj indurain rejoint xxmaj reynolds en tant que stagiaire le avant d'être professionnel à part entière l'année suivante . xxmaj ces débuts en cours de saison sont courants dans le milieu du cyclisme et permettent d'observer l'adaptation du jeune coureur au monde professionnel . xxmaj sa première course est le xxmaj tour de l'avenir où il se fait remarquer en décrochant sa première victoire individuelle en remportant la dixième étape , un contre - la - montre individuel . xxmaj cependant , il ne finit pas la course . \n",
       " \n",
       "  xxmaj l'année suivante , xxmaj indurain participe pour la première fois à un grand tour . xxmaj il s'agit du xxmaj tour d'espagne . xxmaj lors de l'épreuve , il termine deuxième du prologue et grâce au travail de son équipe , il endosse le maillot ' au terme de la deuxième étape aux dépens du xxmaj néerlandais xxmaj bert xxmaj xxunk . xxmaj devenant alors le plus jeune coureur à porter le maillot ' , il le garde quatre jours avant d'en être dépossédé par son compatriote xxmaj pedro xxmaj delgado . xxmaj il termine cette \" à la . xxmaj participant ensuite au xxmaj tour de xxmaj france , il abandonne dès le quatrième jour en raison d'une maladie virale . xxmaj lors du xxmaj tour de l'avenir , il remporte deux étapes ( un contre - la - montre et une étape en ligne ) mais ne termine pas la course . xxmaj il termine à la deuxième place de la xxmaj xxunk del xxmaj sol . \n",
       " \n",
       "  xxmaj en 1986 , xxmaj miguel xxmaj indurain remporte sa première victoire dans une course à étapes en s'imposant lors du xxmaj tour de la xxmaj communauté européenne . xxmaj il s'impose lors des deux contre - la - montre ( le prologue et la dixième étape ) et résiste dans la montagne . xxmaj en outre , il obtient une troisième place dans la xxmaj xxunk de xxmaj xxunk et remporte la victoire finale dans le xxmaj tour de xxmaj murcie après avoir remporté le prologue . xxmaj terminant du xxmaj tour d'espagne , il abandonne de nouveau lors du xxmaj tour de xxmaj france après une place d'honneur sur la septième étape . \n",
       " \n",
       "  xxmaj les victoires obtenues durant la saison surprennent l'encadrement de son équipe , qui décide d'étudier les capacités physiques du xxmaj navarrais . xxmaj pour cela , il se rend à la clinique du médecin italien xxmaj francesco xxmaj xxunk pour des consultations qui durent jusqu'à 1991 . xxmaj les premiers tests démontrent un potentiel physique illimité lui permettant de remporter un grand tour à condition de perdre du poids et de s'entraîner dur en montagne . à partir de ce moment , xxmaj indurain devient le grand espoir de son équipe . \n",
       " \n",
       "  xxmaj en 1987 , xxmaj miguel xxmaj indurain remporte ses premières victoires hors contre - la - montre . xxmaj il gagne ainsi le classement final du xxmaj tour des vallées minières , non seulement grâce à sa deuxième place lors du prologue mais aussi grâce à trois victoires lors d'étapes en ligne . xxmaj durant la saison , il remporte également le xxmaj grand xxmaj prix de xxmaj navarre ainsi que des étapes sur la xxmaj semaine catalane , le xxmaj tour de xxmaj murcie et le xxmaj tour de xxmaj galice . xxmaj il termine aussi à la deuxième place du xxup gp xxmaj xxunk et du xxup gp de xxmaj bilbao . xxmaj après un abandon sur la \" xxmaj vuelta \" , il finit son premier xxmaj tour de xxmaj france à la , à près de trois heures du vainqueur , l'irlandais xxmaj stephen xxmaj roche . xxmaj en fin de saison , il participe à son premier championnat du monde sur route . xxmaj il termine l'épreuve , remportée par xxmaj roche , à la . \n",
       " \n",
       "  xxmaj en 1988 , xxmaj indurain est victime xxunk qui l'empêchent de se mettre en évidence dans les principales épreuves de la saison . xxmaj en l'absence de xxmaj pedro xxmaj delgado , de retour cette saison - là dans l'équipe xxmaj reynolds , qui a préféré participer au \" xxmaj giro \" , il s'aligne sur la \" xxmaj vuelta \" pour aider son partenaire xxmaj julián xxmaj xxunk , leader de l'équipe xxmaj reynolds pour cette épreuve . xxmaj il abandonne pour la deuxième fois consécutive dans son tour national . xxmaj lors du xxmaj tour de xxmaj france , il est un équipier précieux pour xxmaj delgado qui remporte la xxmaj grande xxmaj boucle cette année - là . xxmaj indurain gagne en fin de saison le xxmaj tour de xxmaj catalogne après avoir remporté le contre - la - montre . xxmaj il s'impose également sur une étape du xxmaj tour de xxmaj cantabrie et une du xxmaj tour de xxmaj galice . à ce moment - là de sa carrière , il est considéré comme un éternel espoir , n'ayant aucune chance de remporter un grand tour en raison de performances irrégulières en montagne . \n",
       " \n",
       "  xxmaj en 1989 , xxmaj indurain remporte au début du mois de mars xxmaj paris - xxmaj nice grâce notamment à quatre deuxièmes places dans le prologue , deux étapes en ligne et le contre - la - montre final qui se termine en haut du col xxunk . xxmaj il devance au classement final xxmaj stephen xxmaj roche et xxmaj marc xxmaj xxunk pour devenir le premier xxmaj espagnol à s'imposer dans la course au soleil . à la fin du mois , il s'impose lors du xxmaj critérium international en remportant en prime le contre - la - montre . xxmaj il enchaîne par deux xxunk 10 lors des classiques ardennaises . xxmaj tout d'abord septième de la xxmaj flèche wallonne , il est quatre jours plus tard dixième de xxmaj liège - xxmaj bastogne - xxmaj liège . \n",
       " \n",
       "  xxmaj son doublé xxmaj paris - xxmaj nice / xxmaj critérium international lui permet d'aborder le xxmaj tour d'espagne comme un leader de l'équipe xxmaj reynolds . xxmaj en effet , le leader théorique xxmaj pedro xxmaj delgado do nt l'objectif principal est le xxmaj tour de xxmaj france n'a gagné aucune course depuis le début de l'année . xxmaj delgado remporte finalement cette \" xxmaj vuelta \" . xxmaj indurain ne se distingue pas particulièrement dans les premières étapes et figure au départ de l'étape reine de montagne qui se termine aux xxmaj lacs de xxmaj xxunk à la neuvième place du classement général à trois minutes de xxmaj delgado . xxmaj lors de celle - ci , il chute dans une descente qui lui occasionne une double fracture à la main gauche . xxmaj il ne repart pas le lendemain . \n",
       " \n",
       "  xxmaj lors de la xxmaj grande xxmaj boucle , il est là pour épauler xxmaj delgado qui perd cependant du temps lors du prologue qu'il démarre avec 2 minutes 40 secondes de retard puis plus de 4 minutes le lendemain lors du contre - la - montre par équipes . xxmaj indurain réussit à remporter sa première victoire dans le xxmaj tour en remportant la neuvième étape disputée dans les xxmaj pyrénées . xxmaj quelques jours plus tard , il termine troisième lors d'une étape contre - la - montre . xxmaj il finit la course au dix - septième rang et poursuit ainsi sa progression dans le classement général des grands tours . xxmaj il termine la saison à la vingtième place du classement xxup xxunk 1989 . \n",
       "  xxmaj l'année 1990 confirme son appartenance au plus haut niveau du cyclisme . xxmaj au sein de l'équipe xxmaj xxunk , il réalise le doublé sur xxmaj paris - xxmaj nice avec une victoire sur l'étape arrivant au mont xxmaj xxunk . xxmaj il remporte aussi une étape du xxmaj tour de la xxmaj communauté valencienne et une du xxmaj tour du xxmaj pays basque qu'il termine à la troisième place . xxmaj il termine également troisième du championnat d'espagne sur route , du xxmaj tour de xxmaj burgos et du xxmaj tour des xxmaj asturies . xxmaj il joue également un rôle dans les classiques en s'imposant lors de la xxmaj classique de xxmaj saint - xxmaj sébastien et en terminant quatrième de la xxmaj flèche wallonne . xxmaj le xxmaj tour d'espagne qu'il finit au septième rang est l'occasion pour lui d'obtenir son premier top 10 dans une course de trois semaines . \n",
       " \n",
       "  xxmaj au départ du xxmaj tour de xxmaj france , il est un équipier de luxe de xxmaj pedro xxmaj delgado . xxmaj il termine le premier contre - la - montre individuel à la deuxième place derrière xxmaj raúl xxmaj alcalá mais devant tous les favoris à la victoire finale . xxmaj lors de la onzième étape qui se termine à l'alpe d'huez , il se sacrifie pour xxmaj delgado perdant ainsi toute chance de victoire finale . xxmaj il est un des hommes forts en montagne dans la suite du xxmaj tour . xxmaj il est ainsi troisième du contre - la - montre en côte de xxmaj villard - de - xxmaj lans , deuxième de la quatorzième étape et il remporte la victoire lors de la seizième étape qui se termine par la montée de xxmaj luz - xxmaj xxunk . xxmaj il semble alors clair qu'en 1991 , il serait protégé au même niveau que xxmaj delgado au minimum puisque selon une étude il a perdu 12 minutes et 50 secondes dans l'aide qu'il a apportée à xxmaj delgado . xxmaj or ce temps perdu lui aurait permis de remporter le xxmaj tour , puisqu'il xxunk à la dixième place à 12 minutes et 47 secondes du vainqueur , xxmaj greg lemond . xxmaj josé xxmaj miguel xxmaj xxunk , le manager de l'équipe xxmaj xxunk , déclare alors : . xxmaj en fin de saison , il est sélectionné pour la quatrième année consécutive pour le championnat du monde sur route . xxmaj en finissant douzième de la course , il termine pour la deuxième fois la course après 1987 et se classe premier xxmaj espagnol . xxmaj il est quatrième du classement xxup xxunk en fin d'année . \n",
       " \n",
       "  xxmaj lors des derniers mois de l'année , l'équipe xxmaj xxunk recrute le docteur . xxmaj bien qu'il soit officiellement un médecin de l'équipe , sa mission principale est de s'occuper du xxmaj navarrais . xxmaj en effet selon le manager de l'équipe xxmaj josé xxmaj miguel xxmaj xxunk qui se base sur les données obtenues par xxmaj francesco xxmaj xxunk , xxmaj indurain . xxmaj padilla rejoint ainsi la structure médicale de xxmaj xxunk au sein de laquelle travaille déjà xxmaj josé xxmaj xxunk xxmaj xxunk , un xxunk de l'université de xxmaj navarre . \n",
       " \n",
       "  xxmaj le début de la saison 1991 est similaire à la saison précédente . xxmaj miguel xxmaj indurain se met en évidence dans xxmaj liège - xxmaj bastogne - xxmaj liège en obtenant la quatrième place de la course . xxmaj il remporte ensuite le xxmaj tour du xxmaj vaucluse en y ajoutant la victoire lors du contre - la - montre . xxmaj en l'absence de xxmaj pedro xxmaj delgado qui préfère disputer le xxmaj tour d'italie , il s'aligne sur la \" xxmaj vuelta \" en tant que leader de l'équipe xxmaj xxunk et favori à la victoire finale . xxmaj indurain figure à près de deux minutes des premiers à l'issue du contre - la - montre initial disputé par équipes de trois coureurs et du contre - la - montre par équipes . xxmaj il est battu de près d'une minute dans le contre - la - montre suivant par xxmaj xxunk xxmaj xxunk , le leader du classement général , et se retrouve alors à près de trois minutes de son compatriote . xxmaj la onzième étape qui se déroule dans les xxmaj pyrénées ( xxmaj andorre - xxmaj pla de xxmaj xxunk ) est annulée pour cause de mauvais temps , ce qui avantage xxmaj xxunk , meilleur xxunk que grimpeur . xxmaj indurain tente ensuite de distancer xxmaj xxunk dans l'étape de montagne suivante . xxmaj il lui reprend une minute et se replace en quatrième position au classement général . xxmaj xxunk s'accroche ensuite dans la montagne et distance définitivement ses rivaux dans le dernier contre - la - montre qu'il remporte . xxmaj indurain , deuxième de ce contre - la - montre , en profite pour terminer deuxième au classement final à près de trois minutes de son compatriote . xxmaj la presse spécialisée ainsi que les fans commencent à douter de sa capacité à remporter la victoire dans les courses par étapes majeures . xxmaj peu de temps après , xxmaj indurain remporte deux étapes de la xxmaj bicyclette basque , course qu'il finit à la troisième position derrière xxmaj gianni xxmaj xxunk et xxmaj piotr xxmaj xxunk . \n",
       " \n",
       "  xxmaj lors du xxmaj tour de xxmaj france , xxmaj josé xxmaj miguel xxmaj xxunk , directeur sportif de xxmaj xxunk , déclare xxunk et xxmaj delgado sont co - leaders de l'équipe . xxmaj lors de la première étape , le duo espagnol perd près de 2 minutes sur xxmaj greg lemond et xxmaj erik xxmaj xxunk . xxmaj dans les premières étapes les deux leaders espagnols reçoivent de fortes critiques de la presse en raison de leur manque de combativité . xxmaj alors que des favoris théoriques à la victoire finale tels que xxmaj charly xxmaj mottet et xxmaj greg lemond prennent leur distance au classement général , la côte xxunk et de xxmaj delgado commence à baisser . xxmaj toutefois , xxmaj indurain montre sa capacité à jouer un rôle dans l'épreuve en battant lemond lors de la huitième étape , un contre - la - montre de arrivant à xxmaj alençon qu'il remporte devant l'américain pour huit secondes . xxmaj il se classe alors quatrième au classement général à un peu plus de 2 minutes de l'américain . xxmaj dans l'étape reine des xxmaj pyrénées qui arrive à xxmaj val - xxmaj xxunk , xxmaj delgado ne peut supporter le rythme des meilleurs lors de l'ascension du xxmaj tourmalet , tandis que le xxmaj navarrais fait partie du petit groupe de prétendants à la victoire . xxmaj dans les derniers mètres de l'ascension , lemond perd quelques secondes . xxmaj indurain s'échappe alors dans la descente et prend rapidement près d'une minute d'avance sur le groupe du maillot jaune . xxmaj dans la vallée qui conduit au xxmaj col xxunk , xxmaj claudio xxmaj xxunk s'échappe également de ce groupe et revient sur xxmaj indurain . xxmaj les deux hommes iront en tête jusqu'à l'arrivée . xxmaj au sommet final , xxmaj xxunk est vainqueur , xxmaj indurain , deuxième , endosse le premier maillot jaune de sa carrière . xxmaj au général , xxmaj mottet deuxième et xxmaj gianni xxmaj xxunk , troisième , sont à trois minutes . xxmaj lors de l'étape de l'alpe d'huez , il parvient à mettre en échec les attaques de xxmaj xxunk . l'italien gagne l'étape mais ne reprend pas de temps . xxmaj indurain conforte sa première place lors du dernier contre - la - montre de xxmaj mâcon . xxmaj il gagne l'étape avec 27 secondes d'avance sur xxmaj xxunk . xxmaj le lendemain , il remporte la xxmaj grande xxmaj boucle , devenant le quatrième espagnol à s'imposer dans l'épreuve après xxmaj federico xxmaj xxunk en 1959 , xxmaj luis xxmaj ocaña en 1973 et xxmaj pedro xxmaj delgado en 1988 . xxmaj l'équipe xxmaj xxunk remporte également le classement par équipes . \n",
       " \n",
       "  xxmaj il dispute ensuite le championnat du monde sur route à xxmaj stuttgart . xxmaj sous l'impulsion de xxmaj gianni xxmaj xxunk , un quatuor do nt fait partie xxmaj indurain se détache dans la dernière montée et se dispute la victoire au sprint . xxmaj celui - ci est remporté par xxmaj xxunk qui devance dans l'ordre xxmaj steven xxmaj xxunk , xxmaj indurain et xxmaj álvaro xxmaj xxunk . xxmaj il enchaîne début septembre par une victoire lors du xxmaj tour de xxmaj catalogne avec une victoire d'étape lors du contre - la - montre . xxmaj cette saison se termine par une deuxième place au classement xxup xxunk , xxmaj indurain étant devancé par xxmaj xxunk . \n",
       " \n",
       "  xxmaj en 1992 , xxmaj indurain a comme objectif principal le xxmaj tour de xxmaj france . xxmaj son début de saison est donc moins intense que la saison précédente . xxmaj en mars , il est troisième d'un xxmaj paris - xxmaj nice remporté par son équipier xxmaj jean - xxmaj françois xxmaj bernard devant xxmaj tony xxmaj rominger . xxmaj pour se préparer au xxmaj tour , il choisit ensuite de disputer le xxmaj tour d'italie plutôt que le xxmaj tour d'espagne . xxmaj avant le \" xxmaj giro \" , il dispute le xxmaj tour de xxmaj romandie . xxmaj il s'y classe deuxième et ajoute une victoire en contre - la - montre . \n",
       " \n",
       "  xxmaj sur le \" xxmaj giro \" , il se place d'emblée dans le classement général en terminant le prologue à la deuxième place à 3 secondes du xxmaj français xxmaj thierry xxmaj marie . xxmaj deux jours plus tard , il endosse le maillot rose et augmente son avance sur ses adversaires en remportant la quatrième étape , un contre - la - montre individuel de . xxmaj il garde la tête du classement général jusqu'au bout , résistant aux attaques de ses rivaux italiens xxmaj claudio xxmaj xxunk et xxmaj franco xxmaj xxunk et ne tient ainsi pas compte de l'éventualité évoquée par xxmaj xxunk de laisser le maillot rose à un de ses rivaux jusqu'au dernier jour et le contre - la - montre final de xxmaj milan . xxmaj lors de ce contre - la - montre de , il parvient à rattraper xxmaj xxunk pourtant parti 3 minutes avant lui . xxmaj il remporte ce \" xxmaj giro \" avec plus de 5 minutes d'avance sur xxmaj xxunk qui termine second devenant ainsi le premier xxmaj espagnol à remporter le \" xxmaj giro \" . xxmaj il s'impose en prime sur le classement xxunk . xxmaj devenant alors numéro 1 mondial au 15 juin , il s'impose quelques jours plus tard au sprint lors du championnat d'espagne sur route . \n",
       "  xxmaj son xxmaj tour de xxmaj france 1992 débute par une victoire lors du prologue de xxmaj saint - xxmaj sébastien . xxmaj il ne garde le maillot jaune qu'une journée car il en est dépossédé le lendemain par le xxmaj suisse xxmaj alex xxmaj zülle . xxmaj il réalise une grande performance quelques jours plus tard à l'occasion du contre - la - montre de xxmaj luxembourg . xxmaj il gagne l'étape de repoussant le deuxième , son équipier français xxmaj armand de xxmaj las xxmaj cuevas , à trois minutes . xxmaj il marque alors les esprits , ainsi xxmaj gianni xxmaj xxunk le qualifie d ' . xxmaj laurent xxmaj fignon , doublé alors qu'il est parti 6 minutes avant le xxmaj navarrais , déclare : . xxmaj il gère ensuite les étapes de haute montagne et reprend le maillot jaune au terme de l'étape de xxmaj sestrières . xxmaj lors de cette étape , l'italien xxmaj claudio xxmaj xxunk attaque et réalise plus de d'échappée . xxmaj derrière , xxmaj indurain revient au fur et à mesure des kilomètres mais subit une défaillance dans les dernières centaines de mètres . xxmaj il termine troisième de l'étape à 1 minute 45 secondes de l'italien . xxmaj le lendemain , il reste avec xxmaj xxunk dans la montée de l'alpe d'huez . xxmaj il parachève son succès en remportant le contre - la - montre individuel de xxmaj blois et termine ainsi le xxmaj tour sur la plus haute marche du podium avec 4 minutes 35 secondes d'avance sur xxmaj xxunk et 10 minutes 49 secondes sur xxmaj gianni xxmaj xxunk . \n",
       " \n",
       "  xxmaj début septembre , après avoir remporté un contre - la - montre sur le xxmaj trophée xxmaj castille - et - xxmaj león , il se présente en favori des championnats du monde 1992 qui se courent en xxmaj espagne , à xxmaj xxunk . xxmaj indurain en cas de victoire peut réaliser un triplé \" xxmaj giro \"- xxmaj tour - xxmaj mondial la même année , triplé seulement réalisé dans le passé par xxmaj eddy xxmaj merckx en 1974 et xxmaj stephen xxmaj roche en 1987 . xxmaj il est sixième d'une course remportée pour la deuxième année consécutive par xxmaj gianni xxmaj xxunk . xxmaj quelques jours plus tard , il remporte devant xxmaj tony xxmaj rominger le classement final du xxmaj tour de xxmaj catalogne . xxmaj l'ensemble de ces performances lui permet de terminer la saison au premier rang du classement xxup xxunk . \n",
       " \n",
       "  xxmaj pour l'année 1993 , xxmaj indurain a les mêmes objectifs que la saison précédente à savoir le xxmaj tour d'italie et le xxmaj tour de xxmaj france . xxmaj il gagne en ce début de saison une étape du xxmaj tour de xxmaj murcie et termine troisième du xxmaj tour de la xxmaj communauté valencienne . xxmaj lors du \" xxmaj giro \" , il est battu sur le premier contre - la - montre de 2 secondes par xxmaj maurizio xxmaj xxunk avant de remporter la dixième étape , un contre - la - montre de autour de xxmaj xxunk . xxmaj cette victoire lui permet de prendre la tête du classement général . xxmaj indurain ne garde le maillot rose qu'une journée mais il le reprend après la quatorzième étape que remporte xxmaj claudio xxmaj xxunk . xxmaj il le conforte ensuite en remportant l'étape contre - la - montre comportant la montée de xxmaj sestrières . xxmaj le lendemain , lors de la , xxmaj indurain est mis pour la première fois en difficulté dans l'épreuve à la suite d'une attaque du xxmaj letton xxmaj piotr xxmaj xxunk . xxmaj il perd ce jour - là 36 secondes sur son rival mais ça ne l'empêche pas de remporter son deuxième \" xxmaj giro \" . xxmaj il s'impose avec 58 secondes d'avance sur xxmaj xxunk et plus de 5 minutes sur xxmaj xxunk . xxmaj après le \" xxmaj giro \" , il remporte deux étapes du xxmaj tour des vallées minières et termine vice - champion d'espagne sur route . \n",
       "  xxmaj au xxmaj puy du xxmaj fou , il entame le xxmaj tour de xxmaj france par une victoire lors du prologue . xxmaj il garde le maillot jaune durant deux jours avant d'en être dépossédé par le xxmaj belge xxmaj wilfried xxmaj xxunk . xxmaj il reprend la tunique jaune à l'issue de la neuvième étape disputée au lac de xxmaj xxunk contre - la - montre et remportée avec plus de deux minutes d'avance sur l'italien xxmaj gianni xxmaj xxunk , le xxmaj néerlandais xxmaj erik xxmaj xxunk ou le xxmaj suisse xxmaj tony xxmaj rominger . xxmaj lors des deux étapes xxunk suivantes , il termine dans le même temps que xxmaj rominger , vainqueur de ces deux étapes et maintient ainsi l'écart construit avec le xxmaj suisse lors des contre - la - montre par équipes et individuel . xxmaj lors du dernier contre - la - montre , xxmaj indurain est affaibli par de la fièvre et est battu par xxmaj rominger de 42 secondes sur les du parcours . xxmaj il remporte finalement le xxmaj tour avec près de 5 minutes d'avance sur xxmaj rominger et près de 6 minutes sur le troisième , le xxmaj polonais xxmaj xxunk xxmaj xxunk , devenant ainsi le premier coureur à remporter deux doublés \" xxmaj giro \"- xxmaj tour consécutifs . xxmaj après le xxmaj tour , il remporte le prologue et le classement final du xxmaj trophée xxmaj castille - et - xxmaj león ainsi que la xxmaj xxunk a xxmaj los xxmaj xxunk . \n",
       " \n",
       "  xxmaj fin août , sélectionné pour les championnats du monde qui se déroulent à xxmaj oslo , il se classe deuxième à 19 secondes d'une course remportée par l'américain xxmaj lance xxmaj armstrong . xxmaj il bat dans le sprint pour la deuxième place des sprinteurs comme xxmaj olaf xxmaj ludwig ou xxmaj johan xxmaj museeuw . à l'issue de cette saison , il est numéro 1 au classement xxup uci pour la deuxième année consécutive . \n",
       " \n",
       "  xxmaj en 1994 , afin d'aider xxmaj indurain dans ses objectifs , l'équipe xxmaj xxunk , qui absorbe l'équipe xxmaj xxunk xxmaj xxunk , est renforcée par des coureurs comme xxmaj xxunk xxmaj xxunk ou xxmaj jesús xxmaj montoya ; ces coureurs rejoignant ainsi xxmaj pedro xxmaj delgado , xxmaj julián xxmaj xxunk ou xxmaj jean - xxmaj françois xxmaj bernard . \n",
       " \n",
       "  xxmaj ses premières victoires de la saison sont une étape du xxmaj tour de la xxmaj communauté valencienne ainsi que le classement final et le contre - la - montre du xxmaj tour de l'oise . xxmaj devancé lors du prologue du \" xxmaj giro \" par le xxmaj français xxmaj armand de xxmaj las xxmaj cuevas et le xxmaj russe xxmaj xxunk xxmaj xxunk , il est de nouveau battu par ces deux coureurs ainsi que par xxmaj gianni xxmaj xxunk lors du contre - la - montre de xxmaj xxunk . xxmaj il perd alors plus de 2 minutes 30 secondes sur xxmaj xxunk . xxmaj devant être offensif pour tenter de reprendre le temps perdu précédemment , il se retrouve échappé avec xxmaj marco xxmaj pantani lors de la dernière montée de l'étape xxmaj xxunk - xxmaj xxunk . xxmaj victime alors d'une défaillance , il ne peut empêcher xxmaj pantani de s'imposer en solitaire avec près de 3 minutes d'avance sur xxmaj claudio xxmaj xxunk , qui a rattrapé xxmaj indurain . xxmaj le xxmaj navarrais termine l'étape en cinquième position , à 3 minutes 30 secondes de xxmaj pantani et ne reprend que 36 secondes à xxmaj xxunk . xxmaj trois jours plus tard , lors d'un contre - la - montre en côte de , xxmaj xxunk s'impose à nouveau , 20 secondes devant xxmaj indurain , xxmaj pantani étant troisième . xxmaj le \" xxmaj giro \" se termine finalement par une victoire du xxmaj russe devant xxmaj pantani à 2 minutes 51 secondes et xxmaj indurain à 3 minutes 23 secondes . xxmaj c'est la première fois xxunk est battu dans un grand tour depuis le xxmaj tour de xxmaj france 1991 . xxmaj après sa retraite , xxmaj indurain déclare qu'il n'était pas . \n",
       " \n",
       "  à la suite de sa troisième place lors du \" xxmaj giro \" , xxmaj indurain perd sa place de numéro 1 mondial au profit du xxmaj suisse xxmaj tony xxmaj rominger , triple tenant du titre du xxmaj tour d'espagne < ref xxunk 06 / 94 \" > < / ref>. xxmaj les deux coureurs sont les principaux favoris du xxmaj tour de xxmaj france . xxmaj lors du prologue de xxmaj lille , les deux coureurs sont sur le podium , xxmaj indurain devançant xxmaj rominger . xxmaj les deux cyclistes sont cependant battus par le xxmaj britannique xxmaj chris xxmaj xxunk . xxmaj lors du contre - la - montre de xxmaj bergerac , xxmaj indurain s'impose avec 2 minutes d'avance sur xxmaj rominger , deuxième et plus de 4 minutes sur de xxmaj las xxmaj cuevas , troisième et prend alors le maillot jaune . xxmaj deuxième à xxmaj xxunk puis sixième à xxmaj luz - xxmaj xxunk , xxmaj indurain conforte son avantage sur xxmaj rominger , diminué par une gastro - xxunk . xxmaj au terme de ces deux étapes pyrénéennes , xxmaj indurain compte près de 8 minutes d'avance sur le xxmaj suisse , deuxième du classement général . xxmaj rominger abandonnant le lendemain , xxmaj indurain contrôle ses 8 minutes d'avance dans la suite du xxmaj tour . xxmaj il obtient ainsi des places d'honneur dans les étapes alpines et finit à la troisième place du dernier contre - la - montre derrière xxmaj piotr xxmaj xxunk et xxmaj marco xxmaj pantani . xxmaj indurain s'impose finalement à xxmaj paris pour la quatrième année consécutive et devance sur le podium final xxmaj xxunk et xxmaj pantani . \n",
       " \n",
       "  à la fin du mois d'août , un contrôle positif xxunk au xxunk pendant le xxmaj tour de l'oise est annoncé . xxmaj il est blanchi quelques jours plus tard , expliquant utiliser ce produit pour soigner son xxunk . xxmaj indurain décide de ne pas participer aux championnats du monde pour se concentrer sur le record de l'heure . xxmaj le 2 septembre , au vélodrome de xxmaj bordeaux , il bat ce record alors détenu depuis quelques mois par xxmaj graeme xxmaj xxunk en parcourant , abaissant à cette occasion les records d'espagne du 5 , du 10 et du . xxmaj indurain ne garde ce record que durant quelques semaines . xxmaj en effet , sur la même piste , xxmaj tony xxmaj rominger parcourt de plus le 22 octobre . xxmaj indurain termine la saison à la deuxième place du classement xxup uci derrière xxmaj rominger . \n",
       " \n",
       "  xxmaj indurain gagne ses premières victoires de la saison en remportant une étape contre - la - montre du xxmaj tour d'aragon , une étape du xxmaj tour des vallées minières , do nt il prend la troisième place finale , ainsi qu'une étape et le classement général du xxmaj tour de xxmaj la xxmaj rioja . xxmaj changeant sa préparation pour le xxmaj tour de xxmaj france , il renonce ainsi à disputer le \" xxmaj giro \" pour se consacrer à des courses à étapes que sont le xxmaj tour des xxmaj asturies , le xxmaj grand xxmaj prix du xxmaj midi libre et le xxmaj critérium du xxmaj dauphiné libéré . xxmaj mi - mai , il gagne deux étapes et termine troisième de la course xxunk , remporte ensuite le classement général du xxmaj midi xxmaj libre puis en juin le contre - la - montre et le classement final du xxmaj dauphiné . \n",
       " \n",
       "  xxmaj indurain est le principal favori du xxmaj tour de xxmaj france . xxmaj une victoire dans cette xxmaj grande xxmaj boucle lui permettrait de devenir le coureur le plus titré du xxmaj tour de xxmaj france à égalité avec xxmaj jacques xxmaj anquetil , xxmaj eddy xxmaj merckx et xxmaj bernard xxmaj hinault . xxmaj il débute le xxmaj tour de xxmaj france par une trente - cinquième place lors du prologue , place qui s'explique par la pluie qui s'abat sur le parcours alors qu'une partie des concurrents avait déjà franchi la ligne d'arrivée . xxmaj lors de l'étape de xxmaj liège , qui se dispute sur les routes de xxmaj liège - xxmaj bastogne - xxmaj liège , il rejoint le xxmaj belge xxmaj johan xxmaj xxunk après une attaque de celui - ci dans la côte de xxmaj mont - xxmaj theux à un peu plus de de l'arrivée . xxmaj indurain roule seul en tête jusqu'à l'arrivée , xxmaj xxunk ne collaborant pas avec lui en raison de la présence à l'arrière de ses leaders xxmaj laurent xxmaj jalabert et xxmaj alex xxmaj zülle . xxmaj xxunk gagne l'étape au sprint mais xxmaj indurain prend 50 secondes aux autres concurrents . xxmaj le lendemain , il remporte le contre - la - montre de de xxmaj seraing avec 12 secondes d'avance sur xxmaj bjarne xxmaj riis et 58 secondes sur xxmaj tony xxmaj rominger . xxmaj prenant alors la tête du classement général , il devance xxmaj riis de 23 secondes et a plus de 2 minutes d'avance sur des coureurs comme xxmaj xxunk ou xxmaj rominger . xxmaj l'étape suivante mène le peloton à xxmaj la xxmaj plagne . xxmaj cette étape est marquée par une échappée du xxmaj suisse xxmaj alex xxmaj zülle qui s'impose en solitaire . xxmaj derrière , xxmaj indurain attaque dans la montée finale et termine à deux minutes du xxmaj suisse mais distance xxmaj pavel xxmaj xxunk , troisième , de plus de deux minutes . xxmaj au général , xxmaj indurain devance alors xxmaj alex xxmaj zülle de 2 minutes 27 secondes . xxmaj bjarne xxmaj riis , troisième , est à près de 6 minutes . xxmaj le 14 juillet , lors de l'étape de xxmaj mende , xxmaj indurain est attaqué par l'équipe xxup once qui place à l'avant xxmaj laurent xxmaj jalabert , xxmaj xxunk xxmaj xxunk et xxmaj neil xxmaj stephens . xxmaj un temps maillot jaune virtuel quand l'échappée dispose de plus de 10 minutes d'avance sur le peloton , xxmaj jalabert gagne l'étape et reprend 5 minutes 41 secondes à xxmaj indurain , devenant troisième au classement général à 3 minutes 35 secondes . xxmaj son coéquipier xxmaj alex xxmaj zülle , qui reste deuxième du classement général , concède 17 secondes au xxmaj navarrais . xxmaj indurain garde son avance dans les xxmaj pyrénées où il prend plusieurs places d'honneur . xxmaj il remporte le dernier contre - la - montre devant xxmaj bjarne xxmaj riis et xxmaj tony xxmaj rominger et s'adjuge finalement cette xxmaj grande xxmaj boucle avec 4 minutes 35 secondes d'avance sur xxmaj alex xxmaj zülle . xxmaj bjarne xxmaj riis , à près de 7 minutes xxunk , complète le podium . xxmaj indurain enchaîne mi - août par une neuvième place lors de la xxmaj classique de xxmaj saint - xxmaj sébastien puis par une victoire d'étape et le classement final du xxmaj tour de xxmaj galice . \n",
       " \n",
       "  xxmaj il part ensuite s'entraîner dans le xxmaj colorado en vue des championnats du monde et du record de l'heure , ses objectifs suivants . xxmaj il renonce pour cela à disputer le xxmaj tour d'espagne , malgré l'existence d'un accord datant de 1994 entre son équipe et l'organisation de la \" xxmaj vuelta \" sur sa participation à l'épreuve espagnole . xxmaj lors des championnats du monde , il remporte tout d'abord le contre - la - montre devant xxmaj abraham xxmaj xxunk . xxmaj les positions xxunk ensuite lors de la course en ligne , xxmaj xxunk l'emportant en solitaire et xxmaj indurain terminant second à la suite d'un sprint remporté devant xxmaj marco xxmaj pantani . xxmaj il suspend ensuite sa tentative de record de l'heure à cause des conditions climatiques et d'une fatigue excessive , ce qui occasionne des tensions avec son équipe pour la première fois . xxmaj il est troisième au classement xxup uci en fin d'année derrière xxmaj laurent xxmaj jalabert et xxmaj tony xxmaj rominger . \n",
       " \n",
       "  xxmaj les premières victoires de la saison de xxmaj miguel xxmaj indurain sont obtenues fin avril sur le xxmaj tour de xxunk au xxmaj portugal . xxmaj il y gagne deux étapes et le classement général où il devance son frère et coéquipier xxmaj xxunk . xxmaj comme l'année précédente il ne participe pas au \" xxmaj giro \" mais il se consacre à des courses par étapes d'une semaine . xxmaj il gagne ainsi une étape et le classement final du xxmaj tour des xxmaj asturies , une étape et le classement général de la xxmaj bicyclette basque puis le xxmaj critérium du xxmaj dauphiné libéré agrémenté de deux victoires d'étapes do nt une au sprint . \n",
       " \n",
       "  xxmaj favori principal du xxmaj tour de xxmaj france au moment du départ , xxmaj indurain deviendrait alors en cas de victoire le premier coureur à remporter l'épreuve six fois et ce consécutivement . xxmaj septième du prologue remporté par xxmaj alex xxmaj zülle , il débute la montagne la semaine suivante sans avoir parcouru avant une étape contre - la - montre . xxmaj la première étape de montagne qui mène aux xxmaj arcs est tout d'abord marquée par l'abandon du maillot jaune xxmaj stéphane xxmaj heulot , la défaillance de xxmaj laurent xxmaj jalabert dans le col de la xxmaj madeleine et les chutes d'alex xxmaj zülle et de xxmaj johan xxmaj xxunk . xxmaj lors de l'ascension finale , xxmaj indurain est lâché du groupe des favoris alors qu'il reste un peu plus de à parcourir . xxmaj il finit l'étape à la seizième place à 4 minutes 19 secondes du vainqueur xxmaj luc xxmaj leblanc qui était échappé . xxmaj indurain perd plus de trois minutes sur des coureurs comme xxmaj tony xxmaj rominger , xxmaj bjarne xxmaj riis ou xxmaj xxunk xxmaj xxunk qui endosse alors le maillot jaune . xxmaj le lendemain , lors du contre - la - montre de xxmaj val d'isère , xxmaj xxunk conforte son maillot jaune en remportant l'étape , xxmaj indurain étant cinquième à 1 minute 1 seconde . xxmaj dominé ensuite par le xxmaj danois xxmaj bjarne xxmaj riis dans l'étape raccourcie de xxmaj sestrières , il sort des xxmaj alpes huitième du classement général à 4 minutes 38 secondes de xxmaj riis . xxmaj dans les xxmaj pyrénées , il perd toute chance de terminer sur le podium . xxmaj douzième à xxmaj xxunk , il ne figure pas le lendemain dans le groupe de huit échappés qui se constitue durant l'étape . xxmaj perdant à ce moment plus de 8 minutes sur ces coureurs qui seront les 8 premiers du classement final du xxmaj tour , il monte toutefois sur le podium d'arrivée en compagnie du maillot jaune xxmaj bjarne xxmaj riis . xxmaj l'arrivée se situe en effet à xxmaj pampelune , dans la région natale xxunk , et cette étape avait été créée pour rendre hommage au coureur espagnol . xxmaj deuxième du contre - la - montre final de xxmaj saint - xxmaj émilion à près d'une minute de xxmaj jan xxmaj ullrich , il termine le xxmaj tour à la onzième place à près d'un quart d'heure de xxmaj riis . xxmaj le xxmaj danois admet quelques années plus tard s'être dopé durant l'épreuve . \n",
       " \n",
       "  xxmaj aux xxmaj jeux olympiques d'atlanta , xxmaj indurain termine tout d'abord vingt - sixième de la course en ligne . xxmaj il devient le 3 août le premier champion olympique du contre - la - montre sur route de l'histoire devant son compatriote xxmaj abraham xxmaj xxunk . xxmaj en septembre , alors que des rumeurs annonçant une retraite de xxmaj navarrais à la fin de l'année commencent à apparaître , il participe au xxmaj tour d'espagne à la suite d'une décision de son équipe . xxmaj il a notamment comme adversaires xxmaj tony xxmaj rominger et les coureurs de l'équipe xxup once xxmaj laurent xxmaj jalabert , xxmaj alex xxmaj zülle et xxmaj xxunk xxmaj xxunk . xxmaj après une semaine réservée aux sprinteurs , xxmaj indurain pointe à plus d'une minute de xxmaj jalabert , à une quarantaine de secondes de xxmaj zülle . xxmaj rominger est , lui , à plus de 7 minutes du xxmaj navarrais . xxmaj troisième du contre - la - montre d'avila derrière xxmaj rominger et xxmaj zülle , xxmaj indurain passe deuxième au classement général à 1 minute 4 secondes de xxmaj zülle . xxmaj lâché dans l'alto del xxmaj xxunk notamment par xxmaj laurent xxmaj jalabert et xxmaj alex xxmaj zülle lors de la douzième étape , il perd une minute sur le xxmaj suisse et est devancé par le xxmaj français au général . xxmaj distancé à nouveau par le duo xxup once le lendemain dans l'étape qui mène aux xxmaj lacs de xxmaj xxunk , xxmaj indurain abandonne alors la \" xxmaj vuelta \" . \n",
       " \n",
       "  xxmaj en fin de contrat à l'issue de la saison , xxmaj indurain fait l'objet d'offre de plusieurs équipes . xxmaj ainsi , les équipes xxmaj xxunk et xxmaj xxunk sont intéressées par son recrutement < ref xxunk / 12 / 96 \" > < / ref>. xxmaj cependant la négociation la plus importante et qui dure plusieurs mois se passe avec l'équipe xxup once . xxmaj finalement le , xxmaj indurain annonce la fin de sa carrière de coureur professionnel lors d'une conférence de presse tenue dans un hôtel de xxmaj pampelune . xxmaj abraham xxmaj xxunk devient alors le nouveau chef de file de l'équipe xxmaj xxunk . \n",
       " \n",
       "  xxmaj miguel xxmaj indurain n'a jamais été contrôlé positif au cours de sa carrière . xxmaj en 1994 , l'information d'un possible contrôle positif au xxunk au xxmaj tour de l'oise de cette même année est diffusée dans les médias . xxmaj cependant , il est apparu immédiatement après la publication de la nouvelle que l'usage du xxunk via xxunk n'était pas prohibé par l'uci . xxmaj par ailleurs , les services médicaux de xxmaj xxunk avaient dûment informé de l'usage du xxunk à des fins thérapeutiques avant la course . xxmaj par conséquent , xxmaj indurain est blanchi quelques mois plus tard et le dossier définitivement classé négatif . xxmaj en effet , il n'a pas été établi que le xxunk a été utilisé par le cycliste à des fins autres que thérapeutiques . à la suite de la diffusion de cette information , xxmaj indurain ne cache pas qu'il prend ce traitement depuis plusieurs années pour soigner ses problèmes xxunk et que jusqu'alors il n'avait jamais été déclaré positif . \n",
       " \n",
       "  xxmaj frédéric xxmaj xxunk , . xxmaj avec une taille de pour un poids de , xxmaj miguel xxmaj indurain était théoriquement handicapé par sa morphologie en montagne . xxmaj selon xxmaj xxunk , pour réaliser les performances xxunk lors de ses victoires sur le xxmaj tour de xxmaj france , un coureur étalon de avec vélo aurait dû développer une puissance de plus de dans les grandes ascensions , soit un niveau qui n'avait jamais été atteint dans les années 1980 : alors que les performances de xxmaj luis xxmaj herrera ou xxmaj greg lemond pour un même coureur étalon n'avaient atteint respectivement que en 1985 à xxmaj xxunk et en 1986 à xxmaj xxunk , xxmaj miguel xxmaj indurain a porté sa puissance à à xxmaj xxunk lors du xxmaj tour de xxmaj france 1994 ( en puissance réelle compte tenu du poids xxunk ) , soit 18 % de plus que ses prédécesseurs dix ans plus tôt . xxmaj exprimée en watts par kilogramme , la puissance moyenne du vainqueur du xxmaj tour dans les ascensions de fin d'étape progresse de 10 % durant le « règne » xxunk . \n",
       " \n",
       "  xxmaj antoine xxmaj xxunk , entraîneur de l'équipe xxmaj festina dans les années 1990 , travaille avec xxmaj xxunk sur les calculs de puissance . xxmaj il s'exprime en 2013 dans son livre \" xxmaj la xxmaj preuve par 21 \" sur les performances xxunk durant ses victoires sur le xxmaj tour de xxmaj france et exprime ses doutes quant à celles - ci . xxmaj ainsi , lors de l'édition 1995 , les calculs de xxmaj xxunk estiment la puissance moyenne développée par xxmaj indurain sur la course à , soit le résultat le plus élevé sur la période 1983 - 2012 qui est celle qu'il a analysée . xxmaj selon sa propre classification , cette performance l'amène à un niveau de . \n",
       " \n",
       "  xxmaj l’interprétation des données de puissance est cependant complexe car elle devrait prendre en compte de nombreux facteurs et les analyses de xxmaj xxunk et xxmaj xxunk sont contestées . xxmaj frédéric xxmaj grappe , entraîneur dans le cyclisme et docteur en xxmaj science spécialisé dans la physiologie de l’entraînement sportif , a mis au point pour la fdj le xxup xxunk ( « profil de puissance record » ) . xxmaj selon xxmaj ross xxmaj tucker spécialiste en performance sportive , les modèles de calcul de puissances ( xxup xxunk , xxunk , xxup xxunk , xxunk , etc . ) ont des résultats différents selon leurs méthodes de calcul des variables environnementales ( température , humidité , direction , vitesse du vent , etc . ) , variables de courses ( profil et durée de l'étape , placement de l'étape dans le tour , etc . ) ou les performances du coureur ( rendement énergétique qui varie de 21 à 27 % , pourcentage d’exploitation de la xxmaj xxunk , etc . ) . \n",
       " \n",
       "  xxmaj en 2000 , lors du procès de l'affaire xxmaj festina au tribunal de xxmaj lille , l'ancien coureur de xxmaj xxunk xxmaj thomas xxmaj davy déclare avoir commencé à utiliser de l'epo sous contrôle médical après avoir rejoint l'équipe espagnole . xxmaj il xxunk pas nommément xxmaj indurain de s'être dopé . xxmaj le xxmaj navarrais dément ensuite les accusations de xxmaj davy dans la presse espagnole . \n",
       " \n",
       "  xxmaj indurain consulte à plusieurs reprises de 1986 à 1991 le médecin italien xxmaj francesco xxmaj xxunk . xxmaj xxunk a à l'époque créé un test cardiaque permettant de mesurer les seuils maximum xxunk et xxunk du rythme cardiaque . xxmaj en 2013 , xxmaj sandro xxmaj xxunk , expert italien anti - dopage et chercheur de l'agence mondiale antidopage , affirme xxunk et son équipe xxmaj xxunk ont travaillé durant les années 1990 avec xxmaj xxunk pour des . xxmaj erwin xxmaj xxunk , coureur de xxmaj xxunk de 1994 à 1996 , déclare que . xxmaj xxunk déclare douter de cette version : . \n",
       " \n",
       "  xxmaj miguel xxmaj indurain déclare en 2005 être favorable à l'instauration d'un règlement international anti - dopage pour tous les sportifs . xxmaj il considère la règlementation de l'uci comme « discutable » et pense que la révélation de plusieurs cas positifs xxunk pas le soutien des supporters de cyclisme . xxmaj en 2012 , xxmaj indurain ainsi que plusieurs coureurs espagnols en activité ( xxmaj alejandro xxmaj valverde , xxmaj alberto xxmaj contador et xxmaj samuel xxmaj sánchez ) soutiennent l'innocence de xxmaj lance xxmaj armstrong après que celui - ci a été sanctionné pour dopage par xxunk , sanction confirmée ensuite par l'uci . à la suite des aveux de dopage d'armstrong , xxmaj indurain déclare que l'américain «   a fait beaucoup de mal au cyclisme   » . \n",
       " \n",
       "  xxmaj au début de sa carrière professionnelle , xxmaj indurain est plutôt classé comme un coureur capable de se mettre en évidence dans les classiques ou les courses par étapes d'une semaine en raison notamment de sa physiologie et de son poids de plus de qui le xxunk quand la route s'élève . xxmaj se xxunk ensuite dans les grands tours , son poids est d'ailleurs un sujet de surveillance particulière pour le coureur qui déclare devoir peser . xxmaj il a une fréquence cardiaque de 28 battements par minute au repos ainsi qu'une xxunk de 88 ml / min / kg . à l'effort son cœur peut pomper de sang par minute . xxmaj sa capacité thoracique qui est de est plus élevée que celle d'eddy xxmaj merckx . \n",
       " \n",
       "  xxmaj reconnu pour son sens tactique , il est aussi comparé à xxmaj jacques xxmaj anquetil ou à xxmaj francesco xxmaj moser pour ses qualités physiques . \n",
       "  xxmaj miguel xxmaj indurain est un xxunk d'exception , grand spécialiste du contre - la - montre , en témoigne le nombre de ses victoires dans ce type de courses . xxmaj ces capacités font que sa tactique de course sur le xxmaj tour de xxmaj france consiste principalement à prendre du temps lors des contre - la - montre à l'ensemble de ses adversaires puis de gérer l'avance acquise lors des étapes de montagne , quitte à ne remporter aucune étape en ligne de la xxmaj grande xxmaj boucle lors de ses années victorieuses , ce qui lui vaut des critiques mais lui permet de s'attirer les faveurs de certains de ses collègues . xxmaj malgré son physique de xxunk , ses aptitudes en font un grimpeur puissant et régulier capable de résister à des coureurs comme xxmaj marco xxmaj pantani ou xxmaj claudio xxmaj xxunk et même d'attaquer et de distancer ainsi ses adversaires comme lors de l'étape de xxmaj la xxmaj plagne en 1995 ou celle de xxmaj val - xxmaj xxunk en 1991 . xxmaj c'est d'ailleurs à la suite de cette étape de montagne de xxmaj val - xxmaj xxunk xxunk endosse pour la première fois le maillot jaune en 1991 . \n",
       " \n",
       "  xxmaj dès ses débuts , xxmaj indurain choisit de se focaliser sur certaines courses . xxmaj dans les années 1990 , xxmaj indurain a chaque année comme objectif principal le xxmaj tour de xxmaj france et pour cela , sa saison entière est conçue en fonction du xxmaj tour , y compris les années où il dispute et gagne le \" xxmaj giro \" . xxmaj il bénéficie alors d'une équipe construite autour de lui . \n",
       " \n",
       "  xxmaj durant sa carrière de coureur , xxmaj miguel xxmaj indurain est reconnu pour sa gentillesse par l'ensemble de ses collègues . xxmaj ainsi le coureur britannique xxmaj chris xxmaj xxunk déclare : . xxmaj il est également reconnu pour son humilité et sa timidité . xxmaj il sait se montrer digne , ce qui se vérifie lors de sa défaite lors du xxmaj tour de xxmaj france 1996 . xxmaj ces qualités lui permettent de recevoir un prix consacré au fair - play après la fin de sa carrière . xxmaj il est catholique . \n",
       " \n",
       "  xxmaj après l'arrêt de sa carrière professionnelle , xxmaj indurain reste lié avec le monde du cyclisme . xxmaj il donne ainsi son avis à plusieurs reprises sur des thèmes concernant le sport cycliste . xxmaj il critique ainsi la décision des coureurs xxunk une partie de l'étape urbaine de xxmaj barcelone lors du xxmaj tour d'espagne 1999 . xxmaj en 2003 , il annonce publiquement son désaccord avec sa modeste huitième place lors d'un classement recensant les 100 meilleurs coureurs de l'histoire du xxmaj tour de xxmaj france . xxmaj indurain est également président d'honneur du comité d'organisation des championnats du monde de cyclisme sur route 2014 qui se déroulent à xxmaj xxunk en xxmaj espagne . \n",
       " \n",
       "  xxmaj depuis décembre 1998 , date de sa création , il est président d'honneur de la \" xxmaj fondation xxmaj miguel xxmaj indurain \" , fondation qui a comme objectif de promouvoir le sport en xxmaj navarre . xxmaj il est également membre du jury du xxmaj prix xxmaj princesse des xxmaj asturies , du jury des xxmaj xxunk xxmaj world xxmaj sports xxmaj awards et du xxmaj comité olympique espagnol . xxmaj il a fait partie du xxmaj conseil du cyclisme professionnel , organisme faisant partie de l'union cycliste internationale , et du xxmaj conseil de l'uci protour . \n",
       " \n",
       "  xxmaj en 2009 , xxmaj indurain est choisi par la xxmaj commission européenne pour promouvoir les produits issus de l'agriculture biologique . \n",
       " \n",
       "  xxmaj miguel xxmaj indurain a épousé xxmaj xxunk xxmaj lópez de xxmaj xxunk le 14 novembre 1992 , et est le père de trois enfants . xxmaj son fils aîné , xxmaj miguel junior , dispute en 2010 ses premières courses de jeunes en xxmaj espagne . \n",
       "  xxmaj en douze participations au xxmaj tour de xxmaj france , xxmaj indurain s'impose consécutivement de 1991 à 1995 . xxmaj il remporte également douze victoires d'étape et porte le maillot jaune durant 60 jours . \n",
       " \n",
       "  xxmaj miguel xxmaj indurain participe à trois reprises au xxmaj tour d'italie qu'il termine à chaque fois sur le podium do nt deux fois sur la plus haute marche . xxmaj il remporte également quatre étapes . \n",
       " \n",
       "  xxmaj miguel xxmaj indurain dispute à huit reprises le xxmaj tour d'espagne avec pour meilleur résultat une deuxième place en 1991 derrière xxmaj xxunk xxmaj xxunk . \n",
       " \n",
       "  xxmaj il est classé mondial du 15 juin 1992 au 13 juin 1994 . \n",
       " \n",
       "  xxmaj miguel xxmaj indurain reçoit différents prix pendant et après sa carrière sportive . xxmaj en 1992 , il reçoit le prix xxmaj prince des xxmaj asturies des sports , le xxmaj xxunk d'or ainsi que le xxmaj vélo d'or . xxmaj il gagne d'ailleurs le xxmaj vélo d'or de nouveau en 1993 et est deuxième du classement en 1994 et 1995 . xxmaj en 1993 , il est nommé athlète de l'année par l'united xxmaj press xxmaj international . xxmaj indurain reçoit le xxmaj grand xxmaj prix de l'académie des sports en 1995 . xxmaj en décembre 1997 , il reçoit le trophée \" xxmaj xxunk xxmaj xxunk \" décerné par le journal du même nom . xxmaj il reçoit également la xxmaj grand xxmaj croix du xxmaj mérite xxmaj sportif , la xxmaj médaille d'or du xxmaj mérite xxmaj civil ainsi que la xxmaj légion d'honneur . \n",
       "  à la suite de sa carrière professionnelle , le xxmaj trofeo xxmaj xxunk xxmaj xxunk de xxmaj xxunk est rebaptisé xxmaj grand xxmaj prix xxmaj miguel xxmaj indurain en 1999 . xxmaj il succède à xxmaj julio xxmaj iglesias en 2002 au palmarès du prix \" xxmaj xxunk xxmaj universal \" . xxmaj la même année , xxmaj indurain fait partie des 44 coureurs retenus dans le « » de l'union cycliste internationale . xxmaj en 2003 , xxmaj la xxmaj poste consacre un bloc de timbres en hommage au xxmaj tour de xxmaj france . xxmaj sur ce bloc , on retrouve xxmaj indurain accompagné de xxmaj maurice xxmaj garin , xxmaj jacques xxmaj anquetil , xxmaj eddy xxmaj merckx , xxmaj bernard xxmaj hinault et xxmaj lance xxmaj armstrong . xxmaj en 2006 , il reçoit le \" xxmaj xxunk xxmaj nacional al xxmaj xxunk xxmaj xxunk \" et fait partie avec xxmaj nadia xxmaj xxunk , xxmaj michael xxmaj jordan et xxmaj xxunk xxmaj sánchez xxmaj xxunk des quatre meilleurs sportifs du vingtième siècle choisis par les lecteurs xxunk xxmaj mundo xxmaj deportivo \" . xxmaj sept ans plus tard , les lecteurs de \" xxmaj xxunk \" le désignent deuxième plus grand sportif espagnol de l'histoire derrière xxmaj rafael xxmaj nadal ."
      ]
     },
     "execution_count": 32,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data.train_ds.x[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "c5d702b9-c34f-4f09-a0c5-59f6338109ac"
    }
   },
   "outputs": [],
   "source": [
    "data.save(f'{path}/{lang}_databunch_corpus_100')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "nbpresent": {
     "id": "ec18e5b2-ffe2-4a99-8e66-44e62e8e0044"
    }
   },
   "source": [
    "### Backward"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "nbpresent": {
     "id": "ab18a7b1-173e-4b69-9703-8d17a409da20"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 1min 33s, sys: 18.5 s, total: 1min 52s\n",
      "Wall time: 14min 12s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "data = (TextList.from_folder(dest)\n",
    "            .split_by_rand_pct(0.1, seed=42)\n",
    "            .label_for_lm()\n",
    "            .databunch(bs=bs, num_workers=1, backwards=True))\n",
    "\n",
    "data.save(f'{path}/{lang}_databunch_corpus_100_bwd')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "nbpresent": {
     "id": "052df7c2-f57b-4596-9189-c9e01102e5e9"
    }
   },
   "source": [
    "## Training"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "### Forward"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "defab6d9-ba04-4943-b574-9300e20d5e1c"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 4.14 s, sys: 1.08 s, total: 5.22 s\n",
      "Wall time: 5.23 s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "data = load_data(path, f'{lang}_databunch_corpus_100', bs=bs)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "670d6ea2-913e-4cd2-80d8-1e3d34f0b9c0"
    },
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 4.06 s, sys: 624 ms, total: 4.68 s\n",
      "Wall time: 7.53 s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "perplexity = Perplexity()\n",
    "learn = language_model_learner(data, AWD_LSTM, drop_mult=0.5, pretrained=False, \n",
    "                               metrics=[error_rate, accuracy, perplexity]).to_fp16()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "e74f8988-7c26-495b-90fb-0da012f54c1a"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "LR Finder is complete, type {learner_name}.recorder.plot() to see the graph.\n"
     ]
    }
   ],
   "source": [
    "learn.lr_find()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "e0333edf-f5cd-4c7d-9db3-01dfb7cc4bb8"
    }
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAX4AAAEGCAYAAABiq/5QAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAgAElEQVR4nO3de3yU5Zn/8c+VM+EQDkk4BQQBwRNSCVY8VJCqaFsP1Wrddtequ2wP2natuu3P3epv+2pra63bw9qWKtq6an+1tlVrVaxVURE1ICgoyhkCQgKBkJCQ01y/P2aCMSYhhDzzPJP5vl+veWXmnmfmvm7CXHPnfp7neszdERGR9JERdgAiIpJcSvwiImlGiV9EJM0o8YuIpBklfhGRNJMVdgDdUVhY6OPGjQs7DBGRlLJ06dKd7l7Uvj0lEv+4ceMoKysLOwwRkZRiZps6atdSj4hImlHiFxFJM0r8IiJpRolfRCTNKPGLiKQZJX4RkTSjxC8ikmaU+EVEImh79X5uX/gO6ytre/29lfhFRCJo0659/Ozva9m2Z3+vv7cSv4hIBFXXNwFQ0C+7199biV9EJIKU+EVE0owSv4hImqmub8IMBub1fi1NJX4RkQiqrm9iUF42GRnW6++txC8iEkHV9U2BLPOAEr+ISCTtqVPiFxFJK5rxi4ikmb31TRTkK/GLiKQNzfhFRNKIu6dm4jezBWZWYWYr27Vfa2bvmNkqM/thUP2LiKSqfY0tNMc89RI/cC8wt22Dmc0GLgCmuvuxwI8C7F9EJCUFedYuBJj43X0RUNWu+UvAre7ekNimIqj+RURSVXVdPPEPTrXE34mjgNPN7BUze97MZiS5fxGRyAt6xt/7RSAO3t8Q4GRgBvB7MzvS3b39hmY2D5gHMHbs2KQGKSISptbEP6iPzPjLgT963KtADCjsaEN3n+/upe5eWlRUlNQgRUTCVF3fCKTgGn8n/gycCWBmRwE5wM4kxyAiEmmtM/7BAZ3AFdhSj5k9CMwCCs2sHLgZWAAsSBzi2Qhc0dEyj4hIOquubyIzwxiQG0yKDizxu/vlnTz1+aD6FBHpC+IlmbMw6/2SzKAzd0VEIifIypygxC8iEjnV9U0U5OcE9v5K/CIiEbM3wDo9oMQvIhI5QRZoAyV+EZHIiSf+4M6vVeIXEYmQWCzYksygxC8iEim1jc3EHAb3085dEZG00FqZUzN+EZE0EXSBNlDiFxGJlKBLMoMSv4hIpARdoA2U+EVEIkUzfhGRNKPELyKSZqrrm8jKMPJzMgPrQ4lfRCRCWitzBlWSGZT4RUQiZW99EwUB7tgFJX4RkUgJulwDBJj4zWyBmVUkLrPY2naLmW01s+WJ23lB9S8ikopSOvED9wJzO2i/w92nJW5/DbB/EZGUk9KJ390XAVVBvb+ISF+0p66Rwama+LtwjZm9kVgKGtLZRmY2z8zKzKyssrIymfGJiIQiFnNqGppTd8bfiV8AE4BpwHvA7Z1t6O7z3b3U3UuLioqSFZ+ISGhq9jfjHmyBNkhy4nf3He7e4u4x4NfAScnsX0QkypJx1i4kOfGb2cg2Dy8CVna2rYhIutlT3wjA4PzgLsICENhFHc3sQWAWUGhm5cDNwCwzmwY4sBH416D6FxFJNcma8QeW+N398g6a7w6qPxGRVNcnl3pERKRzSvwiImlGiV9EJM1U1zWRk5VBXnawqVmJX0QkIlrLNQRZkhmU+EVEIiMZdXpAiV9EJDKU+EVE0kx1fVPgBdpAiV9EJDJaL7sYNCV+EZGI2FvfFHiBNlDiFxGJhJYklWQGJX4RkUjYm6STt0CJX0QkEqrq4pU5h/RX4hcRSQuVNQ0AFA/MC7wvJX4RkQioSCT+ooG5gfelxC8iEgHvz/iV+EVE0kJFzX5yMjNSe+eumS0wswoz+9DlFc3sejNzMysMqn8RkVRSWdNA0cDcwAu0QbAz/nuBue0bzWwMcBawOcC+RURSSmVNA4VJWOaBABO/uy8Cqjp46g7gRuLX3RUREeKJPxnr+5DkNX4zOx/Y6u4rurHtPDMrM7OyysrKJEQnIhKeisRSTzIkLfGbWT5wE/Dt7mzv7vPdvdTdS4uKioINTkQkRE0tMar2NfbJGf8EYDywwsw2AiXAMjMbkcQYREQiZ2dt8o7hB8hKSi+Au78JFLc+TiT/UnffmawYRESiKJln7UKwh3M+CLwMTDazcjO7Oqi+RERSWcXePjLjd/fLD/L8uKD6FhFJJZW1yTtrF3TmrohI6Fpn/IUDlPhFRNJCZe1+huRnk5OVnJSsxC8iErKKvck7hh+U+EVEQldR05C0I3pAiV9EJHSVSTxrF5T4RURC5e5JrdMDSvwiIqHaW99MY0tMM34RkXRRUbMfSN7JW6DELyISqmSXawAlfhGRUCXzIuutlPhFREJ0YMY/SIlfRCQtVNTsJzcrg4G5SSuWrMQvIhKmypoGigcl5yLrrZT4RURCVFHTQFGSirO1UuIXEQlRZZLLNYASv4hIqJJ5kfVWSvwiIiFpaG6hur4pqeUaINhLLy4wswozW9mm7Ttm9oaZLTezhWY2Kqj+RUSirjKEY/gh2Bn/vcDcdm23uftUd58G/AX4doD9i4hEWhjH8EM3E7+ZTTCz3MT9WWb2VTMb3NVr3H0RUNWubW+bh/0BP8R4RUT6jANn7Q6I5s7dh4EWM5sI3A2MBx7oSYdm9l0z2wJ8ji5m/GY2z8zKzKyssrKyJ12JiERapGf8QMzdm4GLgP92938DRvakQ3e/yd3HAPcD13Sx3Xx3L3X30qKiop50JSISaRU1DZjBsP45Se23u4m/ycwuB64gvjYPkH2YfT8AXHyY7yEikrIqaxoY1j+HrMzkHmDZ3d6uBGYC33X3DWY2HvjfQ+3MzCa1eXg+sPpQ30NEpK+orNlPYZLP2gXoVlUgd38L+CqAmQ0BBrr7rV29xsweBGYBhWZWDtwMnGdmk4EYsAn4Ys9DFxFJbfE6PcndsQvdTPxm9hzxGXoWsByoNLPn3f26zl7j7pd30Hx3T4IUEemLKmoamFg8MOn9dneppyBxKOangXvcfTrw8eDCEhHp22IxZ2dtQ9KP6IHuJ/4sMxsJXMr7O3dFRKSHdtY20NTijAhhqae7if+/gKeAde7+mpkdCawJLiwRkb5ty+46AMYOzU96393dufsQ8FCbx+vRoZgiIj22uSqe+MeEkPi7W7KhxMz+lCi6tsPMHjazkqCDExHpq7ZU1QNQMqRf0vvu7lLPPcCjwChgNPBYok1ERHpgc1UdwwflkpedmfS+u5v4i9z9HndvTtzuBVRHQUSkh7ZU1TFmSPKXeaD7iX+nmX3ezDITt88Du4IMTESkL9tSVRfKjl3ofuK/ivihnNuB94BLiJdxEBGRQ9TYHOO9vfspiXLid/fN7n6+uxe5e7G7X0j8ZC4RETlEW/fU4x7OoZxweFfg6rRcg4iIdG5L66GcIRzRA4eX+K3XohARSSOtJ2+FcQw/HF7i12UTRUR6YHNVHTmZGQwPoVwDHOTMXTOroeMEb0A4f6OIiKS48qp6Rg/pR2ZGOAsnXSZ+d09+vVARkT5uc1VdaMs8cHhLPSIi0gNbdteFtmMXAkz8ZrYgUdtnZZu228xstZm9kaj9Mzio/kVEomjv/ib21DWFdignBDvjvxeY267taeA4d58KvAt8K8D+RUQiZ0uIVTlbBZb43X0RUNWubaG7NyceLgFU4VNE0kpr4u+rM/6DuQp4orMnzWyemZWZWVllZWUSwxIRCU5rOeawCrRBSInfzG4CmoH7O9vG3ee7e6m7lxYVqRCoiPQNW3bXMSgvi4L87NBi6NYVuHqTmV0BfBKY4+46CUxE0krYh3JCkmf8ZjYX+HfgfHevS2bfIiJREGYd/lZBHs75IPAyMNnMys3sauDnwEDgaTNbbma/DKp/EZGoicWcLbvrGTss3MQf2FKPu1/eQfPdQfUnIhJ1lbUNNDbHQj15C3TmrohI0myOwDH8oMQvIpI0UTh5C5T4RUSSZnNVHWYwerCWekRE0sKWqnqGD8wjLzsz1DiU+EVEkmTL7rpQSzW0UuIXEUmSLVV1lAwN/xpWSvwiIkmwr6GZ96r3c2Rh/7BDUeIXEUmGdZW1AEwsHhByJEr8IiJJsbaiNfGHf0VbJX4RkSRYU1FLVoZxRMjlGkCJX0QkKdZW1DK+sD/ZmeGn3fAjEBFJA2sraiOxvg9K/CIigWtobmHTrn1MUuIXEUkPG3fWEXOYoMQvIpIe1lTUANE4lBOU+EVEAre2ohYzmFCkxC8ikhbWVNQyZkh+6MXZWgV56cUFZlZhZivbtH3GzFaZWczMSoPqW0QkStZV1EZmxy4EeOlF4F7i19j9bZu2lcCngV8F2O8B+xqaaWyOJaOrA8wOcXu6eMFB3qt9X+03t3Yb2IH2jvv+0PtZfJv3t4+/p7U+d6iDFUlDzS0x1lfu44yjisIO5YAgr7m7yMzGtWt7G5KXMG59YjX3LdmUlL7SWfwLot2XAvHGjDZfHhlmB7bNyDAyzOLPm5GZuN/anpVhZGTE2zMzjOzM+M+szAyyM42czAxyszLJycqgX3YmA/Ky6J+bxcDcLIb2z2H0kH6UDOnHiEF5ZEXghBlJX1t219PYEovMjl0IdsZ/WMxsHjAPYOzYsT16j/OOH8mEouRVwvND3b6LFxzsvbyrF3fw3p54x9b29q9+v73ddv7+Y2/THvPElomf8ef9A9s58Qcxf7/9wH13YonnYu7EYtBy4L7T4tASi9ESc1piTnPMaW5xmlpi7G+Ksbe+mYbmFhqbY9Q1trCvoZl9jS0f+nfIzDAmFQ/gtImFnDqxkJPGD6V/bmT/20sftGZHtI7ogQgnfnefD8wHKC0tPdScCsDMCcOYOWFYr8Yl0RWLOfsam9lV20j57nrKd9dRvrue17fs5rdLNnHXixvIyjBOGj+Us48ZztnHjmBUyJfAk75vbYSqcraKbOIXOVQZGcbAvGwG5mUzrl3N8/1NLSzdtJsX1uzkb2/v4JbH3uKWx95iakkB5x0/kvNPGKUvAQnE2h21jBiUx8C87LBDOUCJX9JCXnYmpyaWe7557hTWVdby1KrtPLVyO7c+sZofPLmak8YN5YJpo/nE1JEU9IvOh1RS29rKWiYNj85sH8AOtlbc4zc2exCYBRQCO4CbgSrgZ0ARsAdY7u7nHOy9SktLvaysLJA4RTbu3MejK7bx5+VbWV+5j9ysDM49bgSXzhjDyeOHkZGho5ekZ2Ix57hbnuLS0jHccv6xSe/fzJa6+4cOnQ/yqJ7LO3nqT0H1KdIT4wr789U5k7j2zIm8ubWah8rK+fPyrfx5+TbGDs3n0tISLpk+hhEFeWGHKinmvb37qWtsidT6PmipR+QAM2NqyWCmlgzmpk8czZMrt/P/XtvCjxa+y4+ffpfZk4u5bMYYzpxSrENEpVtar7oVpZO3QIlfpEN52Zlc+JHRXPiR0WzatY/fl23hobJynlldwejB/fjHmUfw2RljGJyfE3aoEmFRPJQTVKtH5KCOGNafG86ZwuJvnskvPz+dsUPzufWJ1Zz8/Wf41h/fOHARbZH21lXWMrR/DsMG5IYdygdoxi/STVmZGcw9bgRzjxvB6u17+c3ijfxx2VZ+99oW5h47gi+eMYETxgwOO0yJkDU7apkYkYqcbWnGL9IDU0YM4vufnsqL/34mX541gRfX7uSC/3mJz921hLKNVWGHJxHQ1BJj5bZqjhk1KOxQPkSJX+QwFA3MPbAM9K1zp/DO9hou+eXL/OPdr/D65t1hhychWrVtL/ubYswYNzTsUD5EiV+kFwzMy+Zfz5jAohtn83/Om8KqbXu56M7FXH3vaweO7JD00vqXX+m4ISFH8mFK/CK9KD8ni3kfm8ALN87mhnMm8+qGKub+9yJueXQVu/c1hh2eJFHZxt2MGdqP4YOid/6HEr9IAPrnZvGV2RN59oZZXDZjDL99eSOzfvQc9760geaW5F4jQpLP3SnbVMWMI6K3zANK/CKBKhyQy3cvOp6/fu10jh9dwC2PvcX5P3+JpZu0/t+XbdxVx87aRkojuL4PSvwiSTFlxCDuu/ok7vzcieyua+TiXyzmxj+sYFdtQ9ihSQBeS6zvz4jg+j4o8YskjZlx3vEj+dt1Z/CvZxzJH5dtZc6Pn+fBVzcTiwVTLFHCsXTjbgbnZzMhgsfwgxK/SNL1z83iW+cezRNfO53JwwfyrT++ycW/XMyqbdVhhya95LVNVUwfOySylV2V+EVCMmn4QH4372Ru/8wJbN5Vx6d+9iLf+ctb7GtoDjs0OQy7ahtYX7kvsuv7oMQvEioz4+LpJTzzjTO4bMZY7n5xA2ffsYhnV1eEHZr0UFlix31U1/dBiV8kEgbn5/D9Tx/PQ1+cSb+cTK689zWueWAZFTX7ww5NDlHZxipysjI4vqQg7FA6FVjiN7MFZlZhZivbtA01s6fNbE3iZ3S/EkVCMGPcUB7/6mlcd9ZRLFy1gzm3P8//Ltmknb8ppGzTbqaOLiA3KzPsUDoV5Iz/XmBuu7ZvAs+4+yTgmcRjEWkjNyuTr86ZxJNfjx/7/x9/Xsklv1zM6u17ww5NDqK+sYWVW6sjvb4PASZ+d19E/Bq7bV0A/CZx/zfAhUH1L5LqjiwawP3//FF+fOkJbNxVxyd++iLf++vb2vkbYSvK99DU4pFe34fkr/EPd/f3ABI/izvb0MzmmVmZmZVVVlYmLUCRKDEzPn1iCc9cdwaXnFjC/EXr+fiPn+eJN9/DXcs/UdNamG36EUr8PeLu89291N1Li4qKwg5HJFRD+ufwg0um8vCXZlLQL5sv3b+ML9zzGht27gs7NGnjlQ1VTCoeEPlLciY78e8ws5EAiZ86Zk3kEEw/Yih/ufY0/vOTx7B0027OuWMRtz21mrpGLf+Erbq+iZfX7WL2lE4XMiIj2Yn/UeCKxP0rgEeS3L9IysvKzODq08bz92+cwSenjuR/nl3HnNuf5/E3tPwTpr+v3kFzzJl73IiwQzmoIA/nfBB4GZhsZuVmdjVwK3CWma0Bzko8FpEeKB6Ux48vm8ZDX5zJ4PwcvvLAMj47f4lKP4TkyZXbGT4ol2kl0b/ucmAXW3f3yzt5ak5QfYqkoxnjhvLYNafyu9e2cPvCd/jkz17kstIxfOPsyRQNzA07vLRQ19jM8+9WclnpmMjW52krsjt3RaT7sjIz+PzJR/Dc9bO58pTx/GFpObN/9Bz/8+xa9je1hB1en/f8O5Xsb4pxTgos84ASv0ifUpCfzbc/dQxPfv1jnHzkUG576h3m3P48jyzfqrN/A/Tkqu0Myc/mpIifuNVKiV+kD5pYPIC7rpjBA//8UQbnZ/O13y3nwjtf4sU1O8MOrc9paG7h729XcPYxI8jKTI2UmhpRikiPnDKxkMeuOY3bP3MCu2ob+fzdr/APv17C65t16cfesnjtLmoamlPiaJ5WSvwifVxGRrz089+vP4ObP3UM72yv4aI7F/PPvynjrW2q/3O4nly5nYG5WZwycVjYoXSbEr9ImsjNyuTKU8ez6MbZfOOso3hlwy7O++kLfPn+pby7oybs8FJSc0uMhW9t58yjiyNdjbO9wA7nFJFo6p+bxbVzJvFPp4zj7hfWs+CljTyxcjufOH4kX5k9kaNHDgo7xJTx6sYqdtc1MffY1FnmASV+kbRV0C+b686ezJWnjudXi9Zz38sb+csb7zFnSjFfnj0x8oXGouCR17eRl53BGZNTq56YlnpE0tyQ/jl889wpLP7mHK476yiWbd7Nxb9YzKW/epln3t6hw0A78e6OGv6wrJxLS8eQn5Nac2hLhdoepaWlXlZWFnYYImmhrrGZB1/dwt0vrGdb9X4mFg/gX04fz4UfGZ1S69hBcnf+acGrrNiyh+dumM3Q/tGsxmlmS929tH27Zvwi8gH5OVlcfdp4nr9xNj/57DRyMjP494ff5NRbn+Unf1vDztqGsEMM3bPvVPDCmp18/eNHRTbpd0UzfhHpkruzeN0u7nphPc++U0lOVgYXThvFFaeM49hR0b2geFCaWmKcc8ciMHjq6x8jO8InbXU240+thSkRSToz49SJhZw6sZC1FbXc89IGHl5Wzu/Lypk2ZjD/8NGxfGrqKPrlpMcy0H0vb2L9zn0s+EJppJN+VzTjF5FDVl3XxMPLyrn/lU2sq9zHoLwsLpg2mkumlzC1pACz6Feo7ImqfY3Muu1ZThgzmN9edVLkx6kZv4j0moL8bK46bTxXnjqOVzdU8cCrm/l92RbuW7KJo4YP4JLpJVwwbTTDB+WFHWqvcXdufnQV+xpb+M9PHhP5pN8VJX4R6TEz46NHDuOjRw5j7/4mHn/jPR4q28L3/rqa7z+xmplHDuOCaaOYe9xICvplhx3uYbnrhQ08tmIbN5wzmaOGDww7nMMSylKPmX0N+BfAgF+7+393tb2WekRSy/rKWh5Zvo1Hlm9l4646cjIzmDW5iE+dMIo5Rxen3HHvL67ZyT8teIVzjh3BnZ87MWVm+50t9SQ98ZvZccDvgJOARuBJ4Evuvqaz1yjxi6Qmd+eN8moeWb6Nx9/cxo69DfTLzuTMo4s597gRzJpczIDcaH8JbKmq41M/f5Higbn86cun0j/i8bYVpTX+o4El7l4HYGbPAxcBPwwhFhEJkJlxwpjBnDBmMDd94mhe21jFYyu28cTK7Tz+xnvkZGVw+sRCzj52OLMmF0dun0BdYzPz7ltKS8z51T+WplTS70oYM/6jgUeAmUA98AxQ5u7XtttuHjAPYOzYsdM3bdqU1DhFJDgtMadsYxVPrtrOwlU72LqnHoApIwZyxuQizphUxIlHDCEvO5xDRGMx59EV27jtqXfYVl3Pgi/MYPbk4lBiORyRWepJBHM18BWgFngLqHf3f+tsey31iPRd7s7b79WwaE0lz79TSdmmKppanJysDKaPHcIpE+I7j6eWFCTli2DJ+l189/G3eXNrNceOGsR/fOIYZk5InVr7bUUq8X8gALPvAeXufmdn2yjxi6SP2oZmXlm/i5fX7WLxul28vX0v7pCVYRw7ahAnHjGEaWMGc8zIQYwv7N8rlzusrGng0RXb+NPr5azcupeRBXnccM5kLpw2moyM1NiR25FIJX4zK3b3CjMbCywEZrp7p9eCU+IXSV+79zWydNNulm7ezbJNu1lRvof9TTEAcrMymDxiIJOKB3JkUX/GF8ZvwwflUdAvm8xOknZ1XRMrt1WzonwPr26o4oU1O2mJOVNLCrj4xBIumzEmtGWm3hS1xP8CMAxoAq5z92e62l6JX0RaNbXEWFdZy1vb9vL2e3tZtW0v6ypr2bH3g8XjzGBQXjZD8uNfAO4Qc6exOca26v0Hths3LJ9zjx/Jpz8ymkkpfnx+e1E6qgd3Pz2MfkUk9WVnZjBlxCCmjPjglcL2NTSzcdc+NuzcR2VNA7vrmthT18juuiZi7mSYYcSXjCYUD2BqSQHHjy5gcH7qVdc8XH3j2CQRSXv9c7M4dlRBWlYMPVSpWVpORER6TIlfRCTNKPGLiKQZJX4RkTSjxC8ikmaU+EVE0owSv4hImlHiFxFJM6EXaesOM6sEOqrLXABUd/Pxwe4XAjt7GGL7frv7fEfthzqGtm09HcPB4u9qm94cQ5C/g662OdgYujOeqI0hHT8Lbe+n+mcBemcMR7h70Ye2cPeUvQHzu/v4YPeJXxOgV+Lo7vMdtR/qGNq19WgMB4s/WWMI8ndwOGPozniiNoZ0/Cz0xhii8lkIegypvtTz2CE87s793oqju8931H6oY0hG/F1tkw5j6M54ojaGdPwsdKf/g0mLz0JKLPUkg5mVeQdV7FJJqo8h1eMHjSEqNIaupfqMvzfNDzuAXpDqY0j1+EFjiAqNoQua8YuIpBnN+EVE0owSv4hImumTid/MFphZhZmt7MFrp5vZm2a21sx+ambW5rlrzewdM1tlZj/s3ag/EEOvx29mt5jZVjNbnrid1/uRfyCOQH4HieevNzM3s8Lei7jDOIL4PXzHzN5I/A4Wmtmo3o/8A3EEMYbbzGx1Yhx/MrPBvR/5B+IIYgyfSXyOY2YWyA7Uw4m7k/e7wszWJG5XtGnv8vPSoZ4erxvlG/Ax4ERgZQ9e+yowEzDgCeDcRPts4G9AbuJxcYrFfwtwfSr/DhLPjQGeIn5CX2GqjQEY1GabrwK/TMExnA1kJe7/APhBCo7haGAy8BxQGqW4EzGNa9c2FFif+DkkcX9IV2Ps6tYnZ/zuvgioattmZhPM7EkzW2pmL5jZlPavM7ORxD+YL3v8X/S3wIWJp78E3OruDYk+KlIs/qQKcAx3ADcCgR+VEMQY3H1vm037E/A4AhrDQndvTmy6BChJwTG87e7vRDHuTpwDPO3uVe6+G3gamNvTz3yfTPydmA9c6+7TgeuBOzvYZjRQ3uZxeaIN4CjgdDN7xcyeN7MZgUb7YYcbP8A1iT/PF5jZkOBC7dRhjcHMzge2uvuKoAPtwmH/Hszsu2a2Bfgc8O0AY+1Mb/xfanUV8VlmsvXmGJKpO3F3ZDSwpc3j1rH0aIxpcbF1MxsAnAI81Gb5K7ejTTtoa52RZRH/E+tkYAbwezM7MvEtG6heiv8XwHcSj78D3E78Q5sUhzsGM8sHbiK+zBCKXvo94O43ATeZ2beAa4CbeznUTvXWGBLvdRPQDNzfmzEeTG+OIZm6itvMrgS+lmibCPzVzBqBDe5+EZ2PpUdjTIvET/wvmz3uPq1to5llAksTDx8lnhzb/tlaAmxL3C8H/phI9K+aWYx4EaXKIANPOOz43X1Hm9f9GvhLkAF34HDHMAEYD6xIfGhKgGVmdpK7bw849la98f+orQeAx0li4qeXxpDYufhJYE4yJj/t9PbvIVk6jBvA3e8B7gEws+eAL7j7xjablAOz2jwuIb4voJyejDGInRpRuAHjaLNTBVgMfCZx34ATOnnda8Rn9a07Ss5LtH8R+K/E/aOI/9llKRT/yDbb/Bvwu1T7HbTbZiMB79wN6Pcwqc021wJ/SMExzAXeAoqCjj3o/0sEuHO3p3HT+c7dDcRXHYYk7g/tzhg7jCtZv7hk3oAHgbfc+IMAAAObSURBVPeAJuLfiFcTny0+CaxI/Kf9dievLQVWAuuAn/P+2c05wP8mnlsGnJli8d8HvAm8QXw2NDKo+IMaQ7ttNhL8UT1B/B4eTrS/QbyY1ugUHMNa4hOf5Ylb0EcmBTGGixLv1QDsAJ6KStx0kPgT7Vcl/u3XAlceyuel/U0lG0RE0kw6HdUjIiIo8YuIpB0lfhGRNKPELyKSZpT4RUTSjBK/pCQzq01yf3eZ2TG99F4tFq/OudLMHjtYdUszG2xmX+6NvkVAV+CSFGVmte4+oBffL8vfLzwWqLaxm9lvgHfd/btdbD8O+Iu7H5eM+KTv04xf+gwzKzKzh83stcTt1ET7SWa22MxeT/ycnGj/gpk9ZGaPAQvNbJaZPWdmf7B4vfn7W2ubJ9pLE/drE4XWVpjZEjMbnmifkHj8mpn9Vzf/KnmZ94vQDTCzZ8xsmcXrq1+Q2OZWYELir4TbEtvekOjnDTP7v734zyhpQIlf+pKfAHe4+wzgYuCuRPtq4GPu/hHi1TC/1+Y1M4Er3P3MxOOPAF8HjgGOBE7toJ/+wBJ3PwFYBPxLm/5/kuj/oPVSErVl5hA/kxpgP3CRu59I/PoPtye+eL4JrHP3ae5+g5mdDUwCTgKmAdPN7GMH60+kVboUaZP08HHgmDaVDweZ2UCgAPiNmU0iXrkwu81rnnb3tjXTX3X3cgAzW0681sqL7fpp5P0id0uBsxL3Z/J+LfQHgB91Eme/Nu+9lHhtdYjXWvleIonHiP8lMLyD15+duL2eeDyA+BfBok76E/kAJX7pSzKAme5e37bRzH4GPOvuFyXWy59r8/S+du/R0OZ+Cx1/Rpr8/Z1jnW3TlXp3n2ZmBcS/QL4C/JR4ff4iYLq7N5nZRiCvg9cb8H13/9Uh9isCaKlH+paFxOvbA2BmreVvC4CtiftfCLD/JcSXmAA+e7CN3b2a+OUXrzezbOJxViSS/mzgiMSmNcDANi99CrgqUd8dMxttZsW9NAZJA0r8kqryzay8ze064km0NLHD8y3ipbQBfgh838xeAjIDjOnrwHVm9iowEqg+2Avc/XXilRo/S/yCJqVmVkZ89r86sc0u4KXE4Z+3uftC4ktJL5vZm8Af+OAXg0iXdDinSC9JXCWs3t3dzD4LXO7uFxzsdSLJpjV+kd4zHfh54kicPSTx0pYih0IzfhGRNKM1fhGRNKPELyKSZpT4RUTSjBK/iEiaUeIXEUkz/x9BblWDdaPkrQAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "learn.recorder.plot()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "55299290-8c05-415f-8f73-a3656c1d488c"
    }
   },
   "outputs": [],
   "source": [
    "lr = 1e-3\n",
    "lr *= bs/48  # Scale learning rate by batch size"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "debf9e8a-b4ec-4b06-8344-a8f01150d941"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: left;\">\n",
       "      <th>epoch</th>\n",
       "      <th>train_loss</th>\n",
       "      <th>valid_loss</th>\n",
       "      <th>error_rate</th>\n",
       "      <th>accuracy</th>\n",
       "      <th>perplexity</th>\n",
       "      <th>time</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>3.989285</td>\n",
       "      <td>3.976071</td>\n",
       "      <td>0.695392</td>\n",
       "      <td>0.304609</td>\n",
       "      <td>53.307030</td>\n",
       "      <td>1:02:28</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>3.598471</td>\n",
       "      <td>3.639826</td>\n",
       "      <td>0.674916</td>\n",
       "      <td>0.325084</td>\n",
       "      <td>38.085110</td>\n",
       "      <td>1:02:38</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>3.527326</td>\n",
       "      <td>3.545684</td>\n",
       "      <td>0.667930</td>\n",
       "      <td>0.332070</td>\n",
       "      <td>34.663483</td>\n",
       "      <td>1:02:39</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>3.492140</td>\n",
       "      <td>3.474684</td>\n",
       "      <td>0.661007</td>\n",
       "      <td>0.338993</td>\n",
       "      <td>32.287586</td>\n",
       "      <td>1:02:36</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>3.414468</td>\n",
       "      <td>3.420644</td>\n",
       "      <td>0.656398</td>\n",
       "      <td>0.343601</td>\n",
       "      <td>30.589087</td>\n",
       "      <td>1:02:43</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>5</td>\n",
       "      <td>3.375593</td>\n",
       "      <td>3.371580</td>\n",
       "      <td>0.651354</td>\n",
       "      <td>0.348646</td>\n",
       "      <td>29.124399</td>\n",
       "      <td>1:02:35</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>6</td>\n",
       "      <td>3.379624</td>\n",
       "      <td>3.322279</td>\n",
       "      <td>0.645751</td>\n",
       "      <td>0.354248</td>\n",
       "      <td>27.723528</td>\n",
       "      <td>1:02:31</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>7</td>\n",
       "      <td>3.313479</td>\n",
       "      <td>3.279083</td>\n",
       "      <td>0.640500</td>\n",
       "      <td>0.359500</td>\n",
       "      <td>26.551371</td>\n",
       "      <td>1:02:34</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>8</td>\n",
       "      <td>3.256086</td>\n",
       "      <td>3.251782</td>\n",
       "      <td>0.636842</td>\n",
       "      <td>0.363158</td>\n",
       "      <td>25.836344</td>\n",
       "      <td>1:02:32</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>9</td>\n",
       "      <td>3.282947</td>\n",
       "      <td>3.243293</td>\n",
       "      <td>0.635636</td>\n",
       "      <td>0.364365</td>\n",
       "      <td>25.617926</td>\n",
       "      <td>1:02:34</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXAAAAD4CAYAAAD1jb0+AAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAgAElEQVR4nO3deXwV9b3/8dfnLDnZJUCAsJmAgCCEIIGiIsWqrSIut1KL1dZrF1ptr0vbX6W/9lbbWrV2vW2vem1ra1uurRf1YkVt1Upp6xqUIquACRLWsCeQPd/7x5mEJGQ/JycZfD8fjzzOzHdmzvc7meQ9c74zZ8acc4iIiP8E+roBIiLSMwpwERGfUoCLiPiUAlxExKcU4CIiPhVKZGWpmVlu0vixiaxSRMT3Vq1atc85l926PKEBfsqQ4RQVFSWyShER3zOzbW2VqwtFRMSnEhrg+s6QiEj86AhcRMSnEtoHLiLSXbW1tZSWllJVVdXXTel1ycnJjBw5knA43KX5FeAi0q+VlpaSkZFBbm4uZtbXzek1zjn2799PaWkpeXl5XVpGXSgi0q9VVVUxaNCgkzq8AcyMQYMGdeuThgJcRPq9kz28G3V3PRN7FQq6DEVEJF50BC4i0oFDhw5x3333dXu5efPmcejQoV5o0XEKcBGRDrQX4PX19R0u9/TTTzNgwIDeahaQ6KtQ1IMiIj6zePFitm7dSkFBAeFwmPT0dHJycli9ejXr16/niiuuYPv27VRVVXHzzTezaNEiAHJzcykqKqKiooKLL76Y2bNn89JLLzFixAiWLVtGSkpKzG3TZYQi4hvf/OM61u88Etf3nDQ8k9svPaPd6ffccw9r165l9erVrFixgksuuYS1a9c2Xer30EMPMXDgQCorK5kxYwZXXnklgwYNavEemzdv5pFHHuHnP/85V111FY899hjXXnttzG1XgIuIdMPMmTNbXKf9k5/8hCeeeAKA7du3s3nz5hMCPC8vj4KCAgCmT59OSUlJXNqS0ABXD4qIxKKjI+VESUtLaxpesWIFzz//PC+//DKpqanMnTu3zeu4I5FI03AwGKSysjIubdFJTBGRDmRkZFBeXt7mtMOHD5OVlUVqaiobN27klVdeSWjbOj0CN7OHgPnAXufcZK9sIPAHIBcoAa5yzh3svWaKiPSNQYMGcc455zB58mRSUlIYOnRo07SLLrqIBx54gPz8fCZMmMCsWbMS2jZzndzj1czmABXAb5oF+L3AAefcPWa2GMhyzt3WWWVDxkxye99ZH4dmi8h7xYYNG5g4cWJfNyNh2lpfM1vlnCtsPW+nXSjOuZXAgVbFlwMPe8MPA1f0rKkiItJTPe0DH+qc2wXgvQ5pb0YzW2RmRWZWVF1d3cPqRESktV4/iemce9A5V+icK2x+JlZERGLT0wDfY2Y5AN7r3q4spEeqiYjET08D/EngOm/4OmBZfJojIiJd1WmAm9kjwMvABDMrNbNPAfcAF5rZZuBCb1xERBKoK1ehXO2cy3HOhZ1zI51zv3TO7XfOne+cG+e9tr5KRUTkPSk9PR2AnTt3smDBgjbnmTt3LkVFRTHXpW9iioj0guHDh7N06dJerSPBN7PSWUwR8ZfbbruNU089lRtvvBGAO+64AzNj5cqVHDx4kNraWu68804uv/zyFsuVlJQwf/581q5dS2VlJddffz3r169n4sSJcbsXiu5GKCL+8cxi2P1WfN9z2BS4uP3TeAsXLuSWW25pCvBHH32UZ599lltvvZXMzEz27dvHrFmzuOyyy9p9puX9999Pamoqa9asYc2aNZx55plxabruRigi0oFp06axd+9edu7cSVlZGVlZWeTk5HDrrbeycuVKAoEAO3bsYM+ePQwbNqzN91i5ciU33XQTAPn5+eTn58elbToCFxH/6OBIuTctWLCApUuXsnv3bhYuXMiSJUsoKytj1apVhMNhcnNz27yNbHPdfeJ8VyT2JKYOwUXEhxYuXMjvf/97li5dyoIFCzh8+DBDhgwhHA7z4osvsm3btg6XnzNnDkuWLAFg7dq1rFmzJi7t0hG4iEgnzjjjDMrLyxkxYgQ5OTlcc801XHrppRQWFlJQUMDpp5/e4fI33HAD119/Pfn5+RQUFDBz5sy4tKvT28nG0+DciW5fyYaE1Sci/qfbycZwO9l4Ug+KiEj86Is8IiI+pQAXkX4vkV29fam766kAF5F+LTk5mf3795/0Ie6cY//+/SQnJ3d5GV2FIiL92siRIyktLaWsrKyvm9LrkpOTGTlyZJfnV4CLSL8WDofJy8vr62b0S+pCERHxqcReRnhyd2GJiCSUjsBFRHxKAS4i4lMKcBERn1KAi4j4VIIDXGcxRUTiRTezEhHxKXWhiIj4lAJcRMSnFOAiIj6lABcR8Sl9lV5ExKd0BC4i4lMKcBERn1KAi4j4lAJcRMSnYgpwM7vVzNaZ2Voze8TMuv4wNxERiUmPA9zMRgA3AYXOuclAEFgYr4aJiEjHYu1CCQEpZhYCUoGdHc2sqwhFROKnxwHunNsBfB94F9gFHHbO/bn1fGa2yMyKzKyorq6u5y0VEZEWYulCyQIuB/KA4UCamV3bej7n3IPOuULnXGEoFOp5S0VEpIVYulAuAIqdc2XOuVrgceDsDpdQH4qISNzEEuDvArPMLNXMDDgf2BCfZomISGdi6QN/FVgKvAG85b3Xg3Fql4iIdCKmTmnn3O3A7V2eX30oIiJxo0eqiYj4VGK/Sq8EFxGJGx2Bi4j4VIIf6KAIFxGJF92NUETEp9SFIiLiU3ompoiIT6kLRUTEp3QSU0TEp3QELiLiUwk/iamjcBGR+Ej4EXiD8ltEJC4SHuD1SnARkbhQgIuI+FTCA7y2oSHRVYqInJQSHuA1dQpwEZF4SHiAV9bUJ7pKEZGTUsID/GhNXaKrFBE5KSU+wKt1BC4iEg8JD/BjOgIXEYmLPghwHYGLiMRDwgO8okpH4CIi8ZDwAD94rCbRVYqInJQSGuAG7KtQgIuIxENCAzwUCLC/ojqRVYqInLQSewRusHJzWSKrFBE5aSU8wEMBPUNCRCQeEpqmmSlh9hypoq5e90MREYlVQgM8KRigrsGxYVd5IqsVETkpJTTAk8PR6laXHkpktSIiJ6WYAtzMBpjZUjPbaGYbzOysjuZPTQoB8J3l62OpVkREgFCMy/8H8KxzboGZJQGpnS0wOD2JzJRwjNWKiEiPj8DNLBOYA/wSwDlX45zrtG9kYk4m75Qd1X3BRURiFEsXyhigDPiVmb1pZr8ws7TWM5nZIjMrMrOisrIy8gZHZ1m/63AMVYuISCwBHgLOBO53zk0DjgKLW8/knHvQOVfonCvMzs7mozNGAfDEmztiqFpERGIJ8FKg1Dn3qje+lGigd2hSTiYAz6/fG0PVIiLS4wB3zu0GtpvZBK/ofKDTy0vMDIDdR6pwzvW0ehGR97xYrwP/N2CJma0BCoC7urLQBROHArBu55EYqxcRee+KKcCdc6u9/u1859wVzrmDXVnu3gX5AMz/6d9jqV5E5D2tT+4sNTAtqWlY3SgiIj3TZ7cGvGDiEAD2HNH9wUVEeqLPAvzT544B4Ov/+1ZfNUFExNf6LMBPH5YBwPMb9qobRUSkB/oswAekHu8H/8tGXRMuItJdffp4nHXf/BAA9z67qS+bISLiS30a4GmR6M0QN+3RAx5ERLqrzx9QOWFotC982WrdG0VEpDv6PMC/cekkAL78P//s45aIiPhLnwf4OacN5uyxg6itd2xWV4qISJf1eYADfP680wC48EcrdUmhiEgX9YsAn5E7sGn4tsfW9GFLRET8o18EeFIowG8+OROAR4tKeVtdKSIineoXAQ4wZ3x20/AHf7SyD1siIuIP/SbAAd65a17T8E9f2NyHLRER6f/6VYAHAsbdH54CwA+ee7uPWyMi0r/1qwAHuHrm6Kbh3MXLdVWKiEg7+l2AA3y0cFTT8Gd/u6oPWyIi0n/1ywD/rvfINYA/r9/D2h2H+7A1IiL9U78McICSey5pGtbtZkVETmSJ7GMuLCx0RUVF3Vomd/HyFuMbv30RyeFgPJslItKvmdkq51xh6/J+ewTenht+pz5xERHwQYCX3HMJ44akN42/uKmMbfuP9mGLRET6h34f4ADPffH9LfrE3/+9Feyv0NPsReS9zRcB3qjw1Kym4el3Ps9LW/b1YWtERPqWrwJ86Q1n88a/X9g0/rFfvMp9K7b0YYtERPqOrwIcYGBaEgtnHP+iz73PbuK+FVs4VlPXh60SEUk83wU4wD1X5vPoZ89qGr/32U1M+saf+rBFIiKJ58sAB5iZN7DFiU2IXjOeu3i5jsZF5D3BtwHe6MUvzz2hbNI3/sT9K7YmvjEiIgnk+wDPG5zGpjsvOqH8u89uJHfxcvaWV/VBq0REel/MAW5mQTN708yeikeDeiISCrLiy3P5/kemsvym2S2mzfzOC1z0Yz3hR0ROPjHfC8XMvggUApnOufkdzduTe6H01PPr9/Dp37Ssa8zgNH7zqZmMzEpNSBtEROKhV+6FYmYjgUuAX8TyPr3hgklD2fjtll0rA/ev4skffJa3/vwwDfuLQQ+LEBEfC8W4/I+BrwAZ7c1gZouARQCjR49ub7ZekRwOUnLPJdQ3OO5+egN1Lz/LZ4LLCb/0JLwEh1waaxtymT3nAuqHTqV84GQGjBgPZgltp4hIT/S4C8XM5gPznHM3mtlc4Mv9qQulNecceV99mgg1TLDtTA6UMNneYUqgmEnBUoIueulhXVImoREFkDMVcgpg+DTIyoOA78/3iohPtdeFEssR+DnAZWY2D0gGMs3sd865a2N4z15jZvz9tvNYte0gX3w0wpr6scD5ACRRy3jbzpRAMZPrSpi8tZjT33mJiHnXk0cyvUCfGg30nKkwcKxCXUT6VFwe6OCHI/C2HDhaw5nffq7NaWHqGG+lTA4UM9mKmRIoZqK9S8RqASh3KaSfOg0bPg2GF0SP1geNhYAeNiEi8dUbR+C+NzAtiTsunURWWhKXF4xoEei1hFjncllXn8sfOA+AEHWMsx1MDhQzxYqZXFLMpG0PkuyFekM4jYahU6gfOpXI6DOjoT54nEJdRHpFv3+kWl968p87uemRN5k68hT+Wdr2g5WD1HOa7Yh2v3hH6pNsGylWA4ALp+KGTmZr6DQy8mZQOzSfUeMKIPie3neKSDe0dwSuAO+G25etZcXbZfzgI1OZOmoA4772TJvzBWhgrO1kineSdLIX6mkWfQhFpUuiIW0oaZkDqA6mUxdOJ5x6CsGUTLZVBFm9t4GjlsKCsyeRkj6AykAaSWmnUHosRPbgwaSmZ0E4uUWdDQ2OnYcrGZmVSl19AzX1DaQmaSchcjJQgPeid/cfY873XmRSTib3XDmFy372jxPmCdBAnu1iihVzRqCEQXaEDI6RYZWkE/3JsGNkcIwkq++0znoLU+5SONyQTAUplJNKuUthxNAhrNpdRwUpjB89gjPHjeZbz22nghQqSOFjc6Ywf8Z4XiyuIi1jAO8bP7zdyyYbGhyBgC6pFOlrCvAEeq34AFNHncJT/9xF0baDXDhpCIZx/a9f79LySdQ2BXr01Qt4jpFulWRQ6b1GxxvnySA6f+O0ruwInAUgnIqFU9hdGSSSmk7JkeinhGNEqCRCJckcc0lUEuGYi5bdcvFU0tIzceFUAklpkJQK4VQqXBIX/rSIj82ewGkjhnHDH95ixZfPI3dwWlOd9Q2O372yjU+cdSqVtfUkh4LaUYh0QAHej+w6XMlZd/+laXx+fg5PrdnVNL7hWxextayC+/+6leXNyjMiIcqr275Vbt7gNIr3tXzYc4SapkBPp5JMb4dwPOQrSbFqUqgmlWpvuIZUqkixaFkyNaRaNalUkUzN8Usru6jOBbydQIRQchp7KgMtdgSVRBg1ZCDTxuRAKJktB2pJSU1l64F6Ck8bxjefLWbc8EEcrg2QMyiL5RsOUOWSuHPBdP7z7zu45uxxZJ2SyRNv7efh13dzavYAfrvobNIjIZ5bv4eH/lHC0s+dRTgY4M13D7K/oobsjAgNzvH/lq5h2efPIS2iribp3xTgPrfrcCXZ6RFeLznI4cpa5owf3GYft3OOfRU1bNh1hE889FqLade8bzTf+ZcprNp2gCWvvMvjb+7odjtC1JFCDSle4KdSfcJwqrdTOD5cQwpV3o6g+U6hmhSqiFgtEaI/ydQQsoYe/54AalyQapKoJkwVSbhghIq6INWEo2UuqWm4miSqXXT4E+eO53dFezhnwnDqAxH2VjreN244t/3vJqaPGcqKd45QQ5hqF+ZL8/LJz83migeKONoQotqF+eLFU8gdmsXpI7LJykjh0de385XH1gDw7C3nsvrdQ1xVOIo3tx/iyvtfAuCRz8zi6p+/wvXn5HL7pWf0eJ2dc1x5/0vccsF45ozPBuBIVS3JoSBJoQDOOeoaHA/9vZhPzs4jHNR3GPxEAS4n+N0r20iLBLnnmY3sOVLN3R+ewqkDU0mNhCgYNQCIdnfU1DWw/eAxauujwZocDnL+D/7a4r0WTB/J0lWlpCUFGZqZzAtfej+3P7mO37y87YR6P3D6EP6ycW+77QpS7wV6TfTVosHeGPLRwK8huXGeZjuACLUkW037y7eYt6bpvaLjdU3X+ceqzgWoJkwNYWqIBnyNt9NoXlbdrCw6T4hR2Vk0BCOs2VXJh2eOYdnafZw/eTS/fm1X0/vcevEUkpNTeeSNPfyjpJxqkqghRI33nrfNz+frT22hliAQ7Z46bUg6W/ZWNLXxM+fmMTQzmTuXb2Da6AG8+e6hpmmtH5YCUFRygH+WHub6s3PZf7SGveVVTByWyZj//zTfvXIKH50RvVVGyb6jPFq0nftWbGX5TbM5fVgmF/zwr3zj0kmcN2EI9Q2O14oP8Ne3y5iYk8FTa3bx3Po9PHPzuZw+LIOK6joi3o6nO+obHKUHjzFiQArBgGFduCVGyb6jDMmM8B/Pb2ZsdjqXFQznaHUdg9IjANTUNTD+68+w4VsXkZLU8eXAzjkeeW07Hzh9CNkZEYJx7BZUgEtcOeeoqW8gEur8GveGBsehylq+/dR6br90EgNSk5qmvb2nnBc27OXBlVs5eCwankMzI/zyuhl8/JevEgwYN50/jm8sWwfAO3fN4wM/WMGxmnp+vLCAj/381ab3Khg1gDHZadw49zQu+GHLHUyjL5x3Gj97Mfog7HPHDeZvm/e1XjOSqCNCLUnURoetpmWZ1Xmh75V5O4Wm+dsqs+hw484j+h7Hy5K8nUsSdU1lsX4SaVTVbOdR3WxH0XLH0azMhflg/mgqG4IMyEgjnJTMU+v2s7Gsqmm+GkLUuhA1hKkleLzchagl1M58oaYy14X76I3NTmNMdjqD0yPc9S+TKa+uI/+OPwMwdeQpLPvCbHIXL2fhjFF8+twxXPijv7Z5f7pgwHjxS3NJjQQpvPN5ILrz+vnfitute/gpyew8fPxZAuGgsfk78wDYsrec5HCQkVmpOOeormvg1y+VcM8zG5vmHz0wlZVfOY/cxcsB+NKF4/nE2bms23GYrWUVlJVX85O/bGF+fg5b9lbwx3+bzVs7DnPHk+v4n8+dRSQUpKq2njueXMdZYwdxxbSRCnA5OX34vn/wxruHeOeueT0+GVpRXcfk2//E1y+ZyC/+Vky9c9zw/rF866n1DM2MsOdINYvmjOHqmaMZMSCFopIDbNhdzsdmjubGJau475rpREIByiqqSYuEmHz7n7h48jDuuOwM3nfXCyfUt/WueXzzj9FPKJ97/1hCAWvasTQKUt+0A0hq9emhvR3FqacEOHCkosVOIdJsp9B8RxGhpsXOpanM6prVW0eYurjtTBrVumA03JuHfVP4R19rCVHvAtQRpJ7G1yB1BKkjEB12zacFvGnB4+OucZlA02sdoei4a17exvIuQD0BnPcJpoEADnAYDqMBAwzXalqDN51W4y2WcSe+3/EfWizjMN767kcV4CJ9yTnX4cf6vUeqmHX3C/zoowVcXjCCnYcqOXSsljHZafz17TLeKTvKDXPH8nrJAT7ywMsAPPzJmazYtJdf/aOET83O49/nT2Ll22U8s3YXZeU1/OK64//zOw9VEgwYQzOT2X7gGLc/uY5fXlfI02/tZtaYgQxKjzR1GbQWoIGwt9MINwa71TF9RAqnZ6fwzOptXDtjGE8UFZNEHacNDLP7wJHovFbH4g+O4ad/XkeSt1P611nDcXU17Nh3iLEDk3hr2152Hyxn2vAUyo8eY//hCkLUE7SG6Cv1hKknyPHxEA0EzXv1picFGrCGekIWnfdkYd88ogAXkc7tPFTJbY+tYdTAVP771Xd58OPTyR2cxmnZ6Rw8VsPft+zj7qc38v2PTGX2uMHdeu89R6oYkBrutOvt96+9S+nBSpJCAc6bMITH3ijl1y+VsPk7FxMOBli2egc3/341916Zz1ceW8OQjAivfe2Clm/iHDTUM+FrfyRIA/ctzOfw0WO8/7QsLv7RCr50wRgWTMvhUMUxTokYOw9W8NzaUq46czif/tUr3H3FRL7++GoiQaO2vuUx8ZVnjuD14gPsPFjBgukj+ODEoeAaAIdzjt++XExR8QGunTWKGadmRY+rnWP7gaNkpYaora9nQHKIrz6+hksmDyN/ZCalB46x4+BR/ra5DMMRwHHe+Gwm5mQw9ENfVICLiPhBdV09y97cyZXTRzaekNXNrERE/CASCnLVjFGdzqeLQUVEfEoBLiLiUwpwERGfUoCLiPiUAlxExKcU4CIiPqUAFxHxKQW4iIhPKcBFRHxKAS4i4lMKcBERn1KAi4j4lAJcRMSnFOAiIj6lABcR8SkFuIiITynARUR8SgEuIuJTPQ5wMxtlZi+a2QYzW2dmN8ezYSIi0rFYnolZB3zJOfeGmWUAq8zsOefc+ji1TUREOtDjI3Dn3C7n3BvecDmwARgRr4aJiEjH4tIHbma5wDTg1TamLTKzIjMrKisri0d1IiJCHALczNKBx4BbnHNHWk93zj3onCt0zhVmZ2fHWp2IiHhiCnAzCxMN7yXOucfj0yQREemKWK5CMeCXwAbn3A/j1yQREemKWI7AzwE+DnzAzFZ7P/Pi1C4REelEjy8jdM79HbA4tkVERLpB38QUEfEpBbiIiE8pwEVEfEoBLiLiUwpwERGfUoCLiPiUAlxExKcU4CIiPqUAFxHxKQW4iIhPKcBFRHxKAS4i4lMKcBERn1KAi4j4lAJcRMSnFOAiIj6lABcR8SkFuIiITynARUR8SgEuIuJTCnAREZ9SgIuI+JQCXETEpxTgIiI+pQAXEfEpBbiIiE8pwEVEfEoBLiLiUwpwERGfUoCLiPiUAlxExKdiCnAzu8jMNpnZFjNbHK9GiYhI53oc4GYWBP4TuBiYBFxtZpPi1TAREelYLEfgM4Etzrl3nHM1wO+By+PTLBER6UwohmVHANubjZcC72s9k5ktAhZ5o9VmtjaGOvuTwcC+vm5EHJws6wFal/5K6xK7U9sqjCXArY0yd0KBcw8CDwKYWZFzrjCGOvuNk2VdTpb1AK1Lf6V16T2xdKGUAqOajY8EdsbWHBER6apYAvx1YJyZ5ZlZErAQeDI+zRIRkc70uAvFOVdnZl8A/gQEgYecc+s6WezBntbXD50s63KyrAdoXforrUsvMedO6LYWEREf0DcxRUR8SgEuIuJTCQnw/vqVezMbZWYvmtkGM1tnZjd75QPN7Dkz2+y9ZnnlZmY/8dZjjZmd2ey9rvPm32xm1zUrn25mb3nL/MTM2rr8Ml7rEzSzN83sKW88z8xe9dr0B+9kM2YW8ca3eNNzm73HV73yTWb2oWblCduGZjbAzJaa2UZv25zl421yq/e3tdbMHjGzZL9sFzN7yMz2Nv/uRiK2Q3t19MK6fM/7G1tjZk+Y2YBm07r1++7JNo0L51yv/hA9wbkVGAMkAf8EJvV2vV1sWw5wpjecAbxN9LYA9wKLvfLFwHe94XnAM0SvgZ8FvOqVDwTe8V6zvOEsb9prwFneMs8AF/fi+nwR+G/gKW/8UWChN/wAcIM3fCPwgDe8EPiDNzzJ2z4RIM/bbsFEb0PgYeDT3nASMMCP24Tol92KgZRm2+Nf/bJdgDnAmcDaZmW9vh3aq6MX1uWDQMgb/m6zden277u72zRu26i3/gmb/ZLOAv7UbPyrwFd7u94etnUZcCGwCcjxynKATd7wfwFXN5t/kzf9auC/mpX/l1eWA2xsVt5ivji3fSTwAvAB4Cnvn2Jfsz/Qpu1A9Mqhs7zhkDeftd42jfMlchsCmURDz1qV+3GbNH5beaD3e34K+JCftguQS8vQ6/Xt0F4d8V6XVtP+BVjS1u+xs993T/7X4rV9EtGF0tZX7kckoN5u8T7aTANeBYY653YBeK9DvNnaW5eOykvbKO8NPwa+AjR444OAQ865ujbqbmqvN/2wN3931683jAHKgF9ZtDvoF2aWhg+3iXNuB/B94F1gF9Hf8yr8uV0aJWI7tFdHb/ok0U8B0P116cn/WlwkIsC79JX7vmRm6cBjwC3OuSMdzdpGmetBeVyZ2Xxgr3NuVfPiDurul+vhCRH9qHu/c24acJTox+j29Nt18fpuLyf6MXw4kEb07p3t1d9v16ULfNt2M/saUAcsaSxqY7aerkuvrmciArxff+XezMJEw3uJc+5xr3iPmeV403OAvV55e+vSUfnINsrj7RzgMjMrIXpXyA8QPSIfYGaNX9ZqXndTe73ppwAHOlmPRG3DUqDUOfeqN76UaKD7bZsAXAAUO+fKnHO1wOPA2fhzuzRKxHZor464806qzgeucV4/Rydtbqt8H93fpvERz/6ydvqWQkRPXORxvOP/jN6ut4ttM+A3wI9blX+PlidR7vWGL6HliZrXvPKBRPtts7yfYmCgN+11b97GEzXzenmd5nL8JOb/0PLEyo3e8OdpeWLlUW/4DFqevHmH6ImbhG5D4G/ABG/4Dm97+G6bEL075zog1avrYeDf/LRdOLEPvNe3Q3t19MK6XASsB7Jbzdft33d3t2nctk9v/RO2+oXMI3qFx1bga4mos4vtmk3048waYLX3M/x/IfUAAADASURBVI9oH9ULwGbvtfEPzog+xGIr8BZQ2Oy9Pgls8X6ub1ZeCKz1lvkZcTyB0c46zeV4gI8heqZ/i/cHFvHKk73xLd70Mc2W/5rX1k00uzojkdsQKACKvO3yv94/vi+3CfBNYKNX32+9UPDFdgEeIdp3X0v0SPJTidgO7dXRC+uyhWj/dOP//gM9/X33ZJvG40dfpRcR8Sl9E1NExKcU4CIiPqUAFxHxKQW4iIhPKcBFRHxKAS4i4lMKcBERn/o/xneGkivBCGIAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Better model found at epoch 0 with accuracy value: 0.304609090089798.\n",
      "Better model found at epoch 1 with accuracy value: 0.32508426904678345.\n",
      "Better model found at epoch 2 with accuracy value: 0.3320702910423279.\n",
      "Better model found at epoch 3 with accuracy value: 0.3389931917190552.\n",
      "Better model found at epoch 4 with accuracy value: 0.34360119700431824.\n",
      "Better model found at epoch 5 with accuracy value: 0.3486460745334625.\n",
      "Better model found at epoch 6 with accuracy value: 0.35424768924713135.\n",
      "Better model found at epoch 7 with accuracy value: 0.3594997227191925.\n",
      "Better model found at epoch 8 with accuracy value: 0.363157719373703.\n",
      "Better model found at epoch 9 with accuracy value: 0.36436471343040466.\n",
      "CPU times: user 7h 58min 4s, sys: 2h 31min 48s, total: 10h 29min 52s\n",
      "Wall time: 10h 26min 32s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "learn.unfreeze()\n",
    "learn.fit_one_cycle(10, lr, moms=(0.8,0.7), callbacks=[ShowGraph(learn),SaveModelCallback(learn.to_fp32(), monitor='accuracy')])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "fc8bfa72-afa8-4429-b3a7-2e4f8cd14cb8"
    }
   },
   "source": [
    "Save the pretrained model and vocab:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {
    "hidden": true,
    "nbpresent": {
     "id": "00f7bd36-8558-4a49-8cd2-29a0f836430b"
    }
   },
   "outputs": [],
   "source": [
    "mdl_path = path/'models'\n",
    "mdl_path.mkdir(exist_ok=True)\n",
    "learn.to_fp32().save(mdl_path/lm_fns[0], with_opt=False)\n",
    "learn.data.vocab.save(mdl_path/(lm_fns[1] + '.pkl'))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "### Backward"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "data = load_data(path, f'{lang}_databunch_corpus_100_bwd', bs=bs, backwards=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "perplexity = Perplexity()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "hidden": true,
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 3.82 s, sys: 1.15 s, total: 4.97 s\n",
      "Wall time: 4.96 s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "learn = language_model_learner(data, AWD_LSTM, drop_mult=0.5, pretrained=False, \n",
    "                               metrics=[error_rate, accuracy, perplexity]).to_fp16()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "hidden": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "LR Finder is complete, type {learner_name}.recorder.plot() to see the graph.\n"
     ]
    }
   ],
   "source": [
    "learn.lr_find()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "hidden": true
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAX4AAAEGCAYAAABiq/5QAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAgAElEQVR4nO3deXxU9b3/8ddnsgEhQCBh32QVlwIaXABxX9ur0ta2Vn/V6q+0vW6tta2t93evt97aVq/X1qW11rq0VaytdV+pV8Vd2UFwQdYgkkASyAJJSD6/P2aiMSYkkJw5ZzLv5+Mxj8ycOTPfz5dh3jk553u+x9wdERFJH7GwCxARkeRS8IuIpBkFv4hImlHwi4ikGQW/iEiayQy7gI4oKCjw0aNHh12GiEhKWbhw4VZ3L2y5PCWCf/To0SxYsCDsMkREUoqZrW9tuXb1iIikGQW/iEiaUfCLiKQZBb+ISJpR8IuIpBkFv4hImlHwi4ikGQW/iEgEbdmxixuefZc1pVVd/t4KfhGRCFq3tZqb/3c1m7fv6vL3Diz4zexOMysxsxXNll1tZpvMbEnidlpQ7YuIpLLymjoA+vXK6vL3DnKL/27glFaW3+juUxK3JwNsX0QkZZXX1APQPze7y987sOB39/lAWVDvLyLSnZVVx7f483ulUPDvwcVmtiyxKyi/rZXMbI6ZLTCzBaWlpcmsT0QkdBU1dfTMyqBHVkaXv3eyg/93wFhgCrAZuKGtFd39dncvcveiwsLPzCoqItKtlVXXkx/A/n1IcvC7+xZ3b3D3RuAPwGHJbF9EJFVU1NSRH8D+fUhy8JvZkGYPZwMr2lpXRCSdldXUBbJ/HwK8EIuZzQWOAQrMrBj4D+AYM5sCOLAO+HZQ7YuIpLKKmnqG5/cK5L0DC353P7uVxX8Mqj0Rke6krLque+zjFxGR9u1uaGTHrnr6BbSrR8EvIhIx23fW4w79tcUvIpIems7a7RajekREpH1N8/QENapHwS8iEjHlAU7XAAp+EZHI+XiLP1f7+EVE0sLH+/i1xS8ikh7Kq+vIzozRK7vrJ2gDBb+ISOSU18RP3jKzQN5fwS8iEjHxmTmD2c0DCn4RkcipCHCCNlDwi4hETllNXSCXXGyi4BcRiZiKmvpALrLeRMEvIhIhjY1Ohbb4RUTSx45d9TQ6gc3MCQp+EZFIKUtM19A/oLN2QcEvIhIpTWftaotfRCRNNE3Q1l/BLyKSHoKekhkU/CIikRL0zJyg4BcRiZTymnoyY0bvnMzA2lDwi4hESHl1Hfm52YFN0AYBBr+Z3WlmJWa2opXnrjAzN7OCoNoXEUlFTTNzBinILf67gVNaLjSzEcCJwIYA2xYRSUnlAc/MCQEGv7vPB8paeepG4EeAB9W2iEiqKg94Zk5I8j5+Mzsd2OTuS5PZrohIqiivqSc/wHl6AII7bNyCmfUCrgJO6uD6c4A5ACNHjgywMhGRaHD3xFz8qbuPv6WxwH7AUjNbBwwHFpnZ4NZWdvfb3b3I3YsKCwuTWKaISDgqa3ezu9EDnZkTkrjF7+7LgYFNjxPhX+TuW5NVg4hIlDVN1xDkPD0Q7HDOucBrwEQzKzazC4NqS0SkO2iaoC3oXT2BbfG7+9ntPD86qLZFRFJR0xZ/0Ad3deauiEhEJGOCNlDwi4hERlkSpmQGBb+ISGRU1NQTM8jrEey4GwW/iEhElCXO2o3FgpugDRT8IiKRUVFTR7+AR/SAgl9EJDLKqusCP3kLFPwiIpFRUVMf+MlboOAXEYmMsuq6wEf0gIJfRCQS4hO01dMvwGvtNlHwi4hEQHVdA3UNjdriFxFJFx9P16DgFxFJDyWVtQAU5uUE3paCX0QkAkoV/CIi6aW0Kh78AxX8IiLpobSyFjN0ApeISLooraxlQG42mRnBx7KCX0QkAkoraynoHfxuHlDwi4hEQmlVbVIO7IKCX0QkEkp37FLwi4ikC3entKqWgXk9ktKegl9EJGTbd9ZT3+Da4hcRSRfJPHkLFPwiIqH7OPhTfVSPmd1pZiVmtqLZsmvMbJmZLTGzZ81saFDti4ikiqazdrvDFv/dwCktll3v7p9z9ynA48C/B9i+iEhKKNnRTYLf3ecDZS2W7Wj2MBfwoNoXEUkVpVW1ZGfG6NMjMyntJaeVZszs58A3gO3AsXtYbw4wB2DkyJHJKU5EJASllbUMzMvBzJLSXtIP7rr7Ve4+ArgXuHgP693u7kXuXlRYWJi8AkVEkqy0Mnln7UK4o3ruA74UYvsiIpFQWlmbtBE9kOTgN7PxzR6eDryTzPZFRKIomfP0QID7+M1sLnAMUGBmxcB/AKeZ2USgEVgPfCeo9kVEUkF9QyNl1XXdI/jd/exWFv8xqPZERFLR1iSP4QeduSsiEqpkn7ULCn4RkVA1Bf/APsmZmRMU/CIioUr2BG2g4BcRCVVT8Bf0Dv4i600U/CIiISqtqqVvzyxyMjOS1qaCX0QkRMk+axcU/CIioSpJ8lm7oOAXEQlVaWUtA/so+EVE0oK7J32eHlDwi4iEprqugZ31DdrHLyKSLsIYww8KfhGR0Cj4RUTSjIJfRCTNlFTuApI7QRso+EVEQlNaWUtmzMjvlbzpGkDBLyISmtLKWgp65xCLJeci600U/CIiIUn2JRebKPhFREISxjw90MHgN7OxZpaTuH+MmV1qZv2CLU1EpHsL46xd6PgW/4NAg5mNI37d3P2A+wKrSkSkm2todLZV11GQl9wDu9Dx4G90993AbODX7v59YEhwZYmIdG8f7dhFQ6MzrF+vpLfd0eCvN7OzgfOAxxPLsoIpSUSk+9uwrQaAkf2jG/zfBI4Efu7ua81sP+Ave3qBmd1pZiVmtqLZsuvN7B0zW2ZmD+k4gYikq41lEQ9+d1/p7pe6+1wzywfy3P2X7bzsbuCUFsvmAQe5++eA94Cf7G3BIiLdwYayGjJixpB+PZLedkdH9bxgZn3MrD+wFLjLzP5nT69x9/lAWYtlzyaOFQC8Dgzfh5pFRFLehrIahvbrQVZG8kfVd7TFvu6+A/gicJe7Hwqc0Mm2LwCeautJM5tjZgvMbEFpaWknmxIRiZYNZTWh7OaBjgd/ppkNAb7CJwd395mZXQXsBu5tax13v93di9y9qLCwsLNNiohEysYUCP6fAc8AH7j7W2Y2Bnh/Xxo0s/OALwDnuLvvy3uIiKSyqtrdbKuuY0RIwZ/ZkZXc/W/A35o9XgN8aW8bM7NTgB8DR7t7zd6+XkSkO2ga0TOqf24o7Xf04O7wxPDLEjPbYmYPmtkeD8ya2VzgNWCimRWb2YXALUAeMM/MlpjZbZ3ugYhIitkQ4lBO6OAWP3AX8Skazko8Pjex7MS2XuDuZ7ey+I97VZ2ISDcU5hh+6Pg+/kJ3v8vddydudwM64ioisg82lNXQp0cmfXuFMwFCR4N/q5mda2YZidu5wLYgCxMR6a7Wb6th5IBwtvah48F/AfGhnB8Bm4EvE5/GQURE9lKYQzmh41M2bHD309290N0HuvuZxE/mEhGRvdDQ6BSX7wxtKCd07gpcl3dZFSIiaWLLjl3UNTRGf4u/Dcm9OrCISDcQ9lBO6Fzw66xbEZG9FIXg3+M4fjOrpPWAN6BnIBWJiHRjGxPTMQ/tF16E7jH43T0vWYWIiKSDMKdjbhJeyyIiaSjM6ZibKPhFRJIo7DH8oOAXEUma6trdbK0KbzrmJgp+EZEk2Vge/ogeUPCLiCTN+m0KfhGRtBL2dMxNFPwiIkmyoayGvB6Z9O0ZznTMTRT8IiJJ0jSU0yzcGW8U/CIiSRKFMfyg4BcRSYrdDY0Ul+0M9QIsTRT8IiJJsKGshrqGRsYPDH8mHAW/iEgSrC6pAmDcwN4hV6LgFxFJivcTwT+2MDfkShT8IiJJ8UFJFYP79CCvR7hDOSHA4DezO82sxMxWNFt2lpm9bWaNZlYUVNsiIlGzurQqErt5oJ35+DvpbuAW4E/Nlq0gfpH23wfY7sc2bKuhtKq2U++xt8Nt21u9vfG7zZ9tuaq1ePf2amt6vul1n3k/+/Rz1uJ1YC2Wx9c2g5g1e12z5YYRs3hHYonlMbP4/RifehyLQcbH93UlT+m+3J0PSqo4q2hE2KUAAQa/u883s9Etlq2C9sOvq/zhpTX8+fX1SWlLOi8jFv+lkREzMmOxxE8jI2ZkZcTIymj6GSMnK0ZOZoyczAx6ZmWQm5NJXo9McnMy6J+bw7B+PRjarydD+/VkQG526CfMSHrbvH0X1XUNjE2DLf5OMbM5wByAkSNH7tN7fOPIUZxwwKB9rsF97y4r3O7a7azgzVZo2fRnHrd8bYsV/OPlrb/C/dPrNLXdtL63eM+mddzj9xs98Yrmy2n5nNPY9LjFz6bljY1OQ/OfDg2N/vFtd2Mjuxuc+ganvqGR+oZG6nY3UtfQSG19IxU1dXxY10B17W6qandTXddAQ+On+zqoTw5HTyjkmIkDmTGuIPTT5SX9fDyip1DBv0fufjtwO0BRUdE+Xdh9/KA8xg8Kf8ysJI+7U1FTz6aKnWyq2Elx+U4WrS/nqRUf8cCCYjJixvSxA5g9dRgnHziY3JzIfgWkG4nSUE6IcPCL7AszIz83m/zcbA4a1heAC2fux+6GRpZsrOB/3ynhsWUfcvkDS+mZtYJTDhrMV6eN4PD9+mt3kARmdWkV/XplUdA7O+xSAAW/pInMjBhFo/tTNLo/Pzx5IgvWl/OPRZt4YtmHPLR4ExMH5fGN6aM4c8ow/RUgXW51SRXjCntHZuMiyOGcc4HXgIlmVmxmF5rZbDMrBo4EnjCzZ4JqX6QtZsa00f35xRcP5o2fnsB1X/ocmRnGVQ+t4IhfPMe1T65i8/adYZcp3cgHJdEZygnBjuo5u42nHgqqTZG91TM7g69MG8FZRcNZtKGCu19dxx9fXstdr6zl9MnDmDNrDBMH6ziR7Luy6jq2VdelR/CLpBIz49BR+Rw6Kp8fnTyRP768lr++tZEHFxVz8oGD+N4JE5g0pE/YZUoKajqwG5WhnKApG0Q+Y0T/Xlx9+oG8euVxXHb8eF5dvY1Tf/MSF927iPe2VIZdnqSYqA3lBAW/SJvyc7P5/okTePnHx3HJceN44d0STv71fC5/YAnF5TVhlycpYnVJFT2zMhjWr2fYpXxMwS/Sjr69svjBSRN5+cfHMeeoMTy+bDPH/feLXPP4Ssqq68IuTyJudWkVYwpzIzUtiYJfpIPyc7P5yWmTeOGKYzhz6lDuemUtR1/3PHe9spbdDY1hlycRFbURPaDgF9lrQ/v15LovT+aZ781i6qh8/vOxlZx+yyssXF8edmkSMdW1u9lUsZPxCn6R7mH8oDzu+eY0fnvOIZRV1/Gl373Kj/++jO019WGXJhGxprQaiM5UDU0U/CKdYGacdvAQ/vmDo5kzawx/X1TMCTe+yDNvfxR2aRIBq0vjo8AU/CLdUO+cTH562iQeuWgGBb1z+PafF3LRfYvY2snrQUhqW11SRWbMGDUg/MstNqfgF+lCBw3ry6MXz+AHJ05g3ttbOOnG+Ty3akvYZUlIVpdUMWpAL7IyohW10apGpBvIyohxyfHjefzSmQzq04ML71nA/3t4BbvqG8IuTZLsvS1VjB8YvSk/FPwiAZkwKI+HL5rO/525H39+fT3/cvPLrNq8I+yyJEnKq+tYu7WaySP6hV3KZyj4RQKUk5nBv33hAP50wWFU7KznjFtf4f43N+z11d0k9SwprgBgioJfJD3NmlDI05cdxeH79efKfyznBw8spaZud9hlSYAWb6ggZvC54X3DLuUzFPwiSTKgdw53f/Mwvn/CBB5asokzbnmF9zXpW7e1eEM5Ewf3ieSFfRT8IkmUETMuO2E8f7nwcMpr6jjj1ld4bOmHYZclXayx0VmysYKpI6O3mwcU/CKhmDGugMcvOYpJQ/pwydzF/Odjb1Ov+X66jTVbq6jctZupEdy/Dwp+kdAM7tuDud86gvOnj+auV9Zx9u2vs2XHrrDLki6waEP8wO7UkfkhV9I6Bb9IiLIzY1x9+oHcdPZUVm7ewedvepk31mwLuyzppCUbK+jTI5MxBdE6Y7eJgl8kAk6fPJSHL5pBnx6ZfP2ON7jjpTUa8pnCFm+oYMrI/EjNwd+cgl8kIiYMyuORi2dwwqSB/NcTq7j4vsVU1WrIZ6qprt3Nux/tiOz+fVDwi0RKXo8sbjv3UK48dX+eWrGZM2995eNrtkpqWFa8nUYnsiN6IMDgN7M7zazEzFY0W9bfzOaZ2fuJn9E88iESIjPjO0ePjQ/5rK7jjFte5qnlm8MuSzpo8cb4BXmieMZukyC3+O8GTmmx7ErgOXcfDzyXeCwirZg+roDHL53J+EF5fPfeRVz75Cpd4jEFLN5QwZiCXPr1yg67lDYFFvzuPh8oa7H4DOCexP17gDODal+kOxjStyd//fYR/J8jRnH7/DV8/Y43KNGQz8hy98SB3ehu7UPy9/EPcvfNAImfA9ta0czmmNkCM1tQWlqatAJFoiYnM4NrzjyIG786meXF2zntppd4dfXWsMuSVhSX72RrVW1kx+83iezBXXe/3d2L3L2osLAw7HJEQjd76nAeuXgGfXtmce4f3+Dm596nsVFDPqNk8cbEiVsR3r8PyQ/+LWY2BCDxsyTJ7YuktAmD8nj04pl84XNDuWHee5x315uUVGrXT1Qs2VBBj6wY+w+O3sVXmkt28D8KnJe4fx7wSJLbF0l5uTmZ/OZrU7h29sG8ubaM037zEvPf0+7QKHh9zTYmD+9HZsQutdhSkMM55wKvARPNrNjMLgR+CZxoZu8DJyYei8heMjO+fvhIHr14Jv1zs/nGnW/yi6dWUbdbo37CUlxew8rNOzh+UpuHLiMjsImi3f3sNp46Pqg2RdLNxMF5PHLRTK55YiW/f3ENr32wjV9/dQpjCnuHXVraeW5VfM/1CZMGhVxJ+6L994iItKtndgbXzj6Y2849lA1lNXz+ppf561u6vGOy/XPVFsYW5qbEL10Fv0g3ccpBg3n6slkcMqofP35wOd/5y0K2VdWGXVZa2LGrntfXbOOEA6K/tQ8KfpFuZXDfHvz5gsP56Wn78/w7pZx443yeWKbpHoL24rul1Dc4Jyn4RSQMsZgxZ9ZYHrtkJsP69eSi+xZx0X2LtPUfoHkrtzAgN5spI6J94lYTBb9INzVxcB4P/et0fnjyRJ59+yNOunE+jy39UPv+u1h9QyPPv1vC8ZMGkhHR+fdbUvCLdGOZGTEuOnZcfOs/vyeXzF3Mt/60UJd47EJvri2jctfulBjN00TBL5IG9h/ch398dzo/PW1/Xnq/lBP+50Xuf1Mjf7rCvJVbyMmMMXN8QdildJiCXyRNZGbEmDNrLM98bxYHDOnDlf9Yzjl3vMH6bdVhl5ay3J1/rtrCUeML6JUd2GlRXU7BL5JmRhfkMvdbR/Dz2QexvHg7J/96Pn+Yv0Zz/e+Ddz6qpLh8Z0rt5gEFv0haisWMcw4fxbOXz2LmuAJ+/uQqZv/2VZYXbw+7tJQyb+UWzOB4Bb+IpIohfXvyh28UcfPZU/loxy7OuPVlrn70bXbsqg+7tMirb2jkr29t5PD9+lOYlxN2OXtFwS+S5syMf5k8lH9efjTnHjGKe15bxwk3vMijGvq5R48t/ZBNFTuZM2tM2KXsNQW/iADQt2cWPzvjIB7+1xkM7JPDpXMX89XbX2flhzvCLi1y3J3fv7iGiYPyOHZi9GfjbEnBLyKfMnlEPx65aCbXzj6Y97dU8oWbX+LfHl5OeXVd2KVFxvPvlvDulkq+ffQYzFLjpK3mFPwi8hkZsfh8/y9ccSzfOHI0c9/cyKzrn+d3L3zArvqGsMsL3W0vrGFo3x78y+ShYZeyTxT8ItKmvr2yuPr0A3ny0qOYNro/v3r6HY797xf4+8JiGtL0er8L15fz5royLjxqDFkRv9JWW1KzahFJqomD87jz/GncP+cIBublcMXflnLyr+fz6NIP0+4XwG0vfkDfnll8bdqIsEvZZwp+EemwI8YM4OGLZvDbcw4hZnDp3MWcdOOLPLJkU1r8AlhdUsm8lVs478hR5Oakzpm6LSn4RWSvmBmnHTyEpy+bxa1fP4SMmHHZ/Us4/oYXuPeN9d32GIC7819PrKJHVozzpo8Ou5xOUfCLyD6JxYzPfy7+C+B35xxC355ZXPXQCmb+6n+59fnVbK/pXieB/em19bzwbik/OXUSA3qn1glbLVkqnKBRVFTkCxYsCLsMEdkDd+e1Ndv4/YtrePG9UnplZ/CVohFcOHM/RvTvFXZ5nfLelkq+cPPLzBg7gDvPn5YyQzjNbKG7F7Vcnro7qUQkUsyM6WMLmD62gFWbd3DHS2u59431/Om1dZx60BDOnzGaolH5KROaTXbVN3Dp3MX06ZHJdV+enHL1tyaUXT1mdpmZrTCzt83se2HUICLBmTSkDzd8ZTIv/eg45sway/z3Sznrttf4/E0v88BbG1PqOMB1T7/LOx9Vcv2XJ6fcnDxtSfquHjM7CLgfOAyoA54Gvuvu77f1Gu3qEUltNXW7eXjxh9zz6jre3VJJ355ZnD55KF88ZBhTRvSL7Fb0I0s2cdn9Szh/+miuPv3AsMvZa1Ha1TMJeN3dawDM7EVgNnBdCLWISBL0ys7k64eP5OzDRvDG2jLue2MDDyzYyJ9fX8+Ywly+OHUYZ04dxvD8aBwLaGx0/mfee9zy/Gqmjc7nylP3D7ukLhXGFv8k4BHgSGAn8BywwN0vaes12uIX6X527KrnqeWbeXDRJt5cWwbAYfv1Z/bUYZx28BD69swKpa6q2t18/69LmLdyC18tGsHPzjyQnMyMUGrprLa2+EMZ1WNmFwIXAVXASmCnu3+/xTpzgDkAI0eOPHT9+vVJr1NEkmNjWQ2PLNnEPxZvYk1pNVkZxsxxBZx60BBOPGAQ+bnZSaljTWkV3/nLQj4oreb/fX4S500fHdndUB0RqeD/VAFm1wLF7v7bttbRFr9IenB3lhVv54nlm3ly+WaKy3eSETMOG92fWRMKmTWhgAOG9OnyMHZ3/rawmKsffZvszBi3fv0QZoxLnYuntyVSwW9mA929xMxGAs8CR7p7eVvrK/hF0o+78/aHO3hqxWaeW1XCOx9VAlDQO4fpYwdQNDqfQ0bms//gPDI7MVna9p31/PSh5TyxbDNHjhnAjV+dwuC+PbqqG6GKWvC/BAwA6oHL3f25Pa2v4BeRLTt2Mf+9Uua/v5U31myjpLIWgF7ZGew/OI9xA3szbmBvxg/MY1h+Twp759CvV1arfx2UVdfx1roy3lpbxhPLN1NSWcvlJ07gO0ePJSOWurt2WopU8O8tBb+INOfubKrYycL15SxaX847H1WyuqSKbS0uFpOVYQzIzSEnK0bMDLP4tXI3lu0EIDszxtQR/bjy1P2ZOjI/jK4EKkrDOUVEOsXMGJ7fi+H5vThjyrCPl5dX17G6tIqPtu+itLKW0qpatlbWUt/QSKNDY2JD92vTRnLYfv05eFhfemSl5oidzlDwi0i3kZ+bzbTc/mGXEXmanVNEJM0o+EVE0oyCX0QkzSj4RUTSjIJfRCTNKPhFRNKMgl9EJM0o+EVE0kxKTNlgZqVAa/My9wW2d/Bxe/cLgK37WGLLdjv6fGvL97YPzZftax/aq39P63RlH4L8DPa0Tnt96Eh/otaHdPwuNL+f6t8F6Jo+jHL3ws+s4e4pewNu7+jj9u4TvxhMl9TR0edbW763fWixbJ/60F79yepDkJ9BZ/rQkf5ErQ/p+F3oij5E5bsQdB9SfVfPY3vxuCP3u6qOjj7f2vK97UMy6t/TOunQh470J2p9SMfvQkfab09afBdSYldPMpjZAm9lFrtUkup9SPX6QX2ICvVhz1J9i78r3R52AV0g1fuQ6vWD+hAV6sMeaItfRCTNaItfRCTNKPhFRNJMtwx+M7vTzErMbMU+vPZQM1tuZqvN7CZrdsFOM7vEzN41s7fN7LqurfpTNXR5/WZ2tZltMrMlidtpXV/5p+oI5DNIPH+FmbmZFXRdxa3WEcTncI2ZLUt8Bs+a2dCur/xTdQTRh+vN7J1EPx4ys35dX/mn6giiD2clvseNZhbIAdTO1N3G+51nZu8nbuc1W77H70ur9nW8bpRvwCzgEGDFPrz2TeBIwICngFMTy48F/gnkJB4PTLH6rwauSOXPIPHcCOAZ4if0FaRaH4A+zda5FLgtBftwEpCZuP8r4Fcp2IdJwETgBaAoSnUnahrdYll/YE3iZ37ifv6e+rinW7fc4nf3+UBZ82VmNtbMnjazhWb2kpnt3/J1ZjaE+BfzNY//i/4JODPx9HeBX7p7baKNkhSrP6kC7MONwI+AwEclBNEHd9/RbNVcAu5HQH141t13J1Z9HRiegn1Y5e7vRrHuNpwMzHP3MncvB+YBp+zrd75bBn8bbgcucfdDgSuA37ayzjCguNnj4sQygAnAUWb2hpm9aGbTAq32szpbP8DFiT/P7zSz/OBKbVOn+mBmpwOb3H1p0IXuQac/BzP7uZltBM4B/j3AWtvSFf+XmlxAfCsz2bqyD8nUkbpbMwzY2OxxU1/2qY9pcbF1M+sNTAf+1mz3V05rq7ayrGmLLJP4n1hHANOAB8xsTOK3bKC6qP7fAdckHl8D3ED8S5sUne2DmfUCriK+myEUXfQ54O5XAVeZ2U+Ai4H/6OJS29RVfUi811XAbuDerqyxPV3Zh2TaU91m9k3gssSyccCTZlYHrHX32bTdl33qY1oEP/G/bCrcfUrzhWaWASxMPHyUeDg2/7N1OPBh4n4x8I9E0L9pZo3EJ1EqDbLwhE7X7+5bmr3uD8DjQRbcis72YSywH7A08aUZDiwys8Pc/aOAa2/SFf+PmrsPeIIkBj9d1IfEwcUvAMcnY+Onha7+HJKl1boB3P0u4C4AM3sBON/d1zVbpRg4ptnj4cSPBRSzL30M4qBGFG7AaJodVAFeBc5K3Ddgchuve4v4Vn3TgZLTEsu/A/wscX8C8T+7LIXqH9Jsne8D96faZ9BinXUEfHA3oM9hfLN1LgH+noJ9OAVYCRQGXXvQ/5cI8ODuvtZN2wd31xLf65CfuN+/I4+7KFwAAAOpSURBVH1sta5kfXDJvAFzgc1APfHfiBcS31p8Glia+E/77228tghYAXwA3MInZzdnA39JPLcIOC7F6v8zsBxYRnxraEhQ9QfVhxbrrCP4UT1BfA4PJpYvIz6Z1rAU7MNq4hs+SxK3oEcmBdGH2Yn3qgW2AM9EpW5aCf7E8gsS//argW/uzfel5U1TNoiIpJl0GtUjIiIo+EVE0o6CX0QkzSj4RUTSjIJfRCTNKPglJZlZVZLbu8PMDuii92qw+OycK8zssfZmtzSzfmb2r13RtgjoClySosysyt17d+H7ZfonE48FqnntZnYP8J67/3wP648GHnf3g5JRn3R/2uKXbsPMCs3sQTN7K3GbkVh+mJm9amaLEz8nJpafb2Z/M7PHgGfN7Bgze8HM/m7x+ebvbZrbPLG8KHG/KjHR2lIze93MBiWWj008fsvMftbBv0pe45NJ6Hqb2XNmtsji86ufkVjnl8DYxF8J1yfW/WGinWVm9p9d+M8oaUDBL93Jb4Ab3X0a8CXgjsTyd4BZ7j6V+GyY1zZ7zZHAee5+XOLxVOB7wAHAGGBGK+3kAq+7+2RgPvCtZu3/JtF+u/OlJOaWOZ74mdQAu4DZ7n4I8es/3JD4xXMl8IG7T3H3H5rZScB44DBgCnComc1qrz2RJukySZukhxOAA5rNfNjHzPKAvsA9Zjae+MyFWc1eM8/dm8+Z/qa7FwOY2RLic6283KKdOj6Z5G4hcGLi/pF8Mhf6fcB/t1Fnz2bvvZD43OoQn2vl2kSINxL/S2BQK68/KXFbnHjcm/gvgvlttCfyKQp+6U5iwJHuvrP5QjO7GXje3Wcn9pe/0Ozp6hbvUdvsfgOtf0fq/ZODY22tsyc73X2KmfUl/gvkIuAm4vPzFwKHunu9ma0DerTyegN+4e6/38t2RQDt6pHu5Vni89sDYGZN09/2BTYl7p8fYPuvE9/FBPC19lZ29+3EL794hZllEa+zJBH6xwKjEqtWAnnNXvoMcEFifnfMbJiZDeyiPkgaUPBLquplZsXNbpcTD9GixAHPlcSn0ga4DviFmb0CZARY0/eAy83sTWAIsL29F7j7YuIzNX6N+AVNisxsAfGt/3cS62wDXkkM/7ze3Z8lvivpNTNbDvydT/9iENkjDecU6SKJq4TtdHc3s68BZ7v7Ge29TiTZtI9fpOscCtySGIlTQRIvbSmyN7TFLyKSZrSPX0QkzSj4RUTSjIJfRCTNKPhFRNKMgl9EJM38f9mGMOYXEa2+AAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "learn.recorder.plot()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "lr = 3e-3\n",
    "lr *= bs/48  # Scale learning rate by batch size"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "hidden": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: left;\">\n",
       "      <th>epoch</th>\n",
       "      <th>train_loss</th>\n",
       "      <th>valid_loss</th>\n",
       "      <th>error_rate</th>\n",
       "      <th>accuracy</th>\n",
       "      <th>perplexity</th>\n",
       "      <th>time</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>3.761253</td>\n",
       "      <td>3.804769</td>\n",
       "      <td>0.615500</td>\n",
       "      <td>0.384500</td>\n",
       "      <td>44.914886</td>\n",
       "      <td>1:02:47</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>3.652960</td>\n",
       "      <td>3.723511</td>\n",
       "      <td>0.612636</td>\n",
       "      <td>0.387363</td>\n",
       "      <td>41.409576</td>\n",
       "      <td>1:02:50</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>3.629335</td>\n",
       "      <td>3.698983</td>\n",
       "      <td>0.611138</td>\n",
       "      <td>0.388862</td>\n",
       "      <td>40.406132</td>\n",
       "      <td>1:02:51</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>3.552275</td>\n",
       "      <td>3.650877</td>\n",
       "      <td>0.606791</td>\n",
       "      <td>0.393209</td>\n",
       "      <td>38.508488</td>\n",
       "      <td>1:02:50</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>3.551265</td>\n",
       "      <td>3.589242</td>\n",
       "      <td>0.601620</td>\n",
       "      <td>0.398380</td>\n",
       "      <td>36.206707</td>\n",
       "      <td>1:02:46</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>5</td>\n",
       "      <td>3.507341</td>\n",
       "      <td>3.527488</td>\n",
       "      <td>0.596126</td>\n",
       "      <td>0.403874</td>\n",
       "      <td>34.038376</td>\n",
       "      <td>1:02:32</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>6</td>\n",
       "      <td>3.449509</td>\n",
       "      <td>3.453320</td>\n",
       "      <td>0.589037</td>\n",
       "      <td>0.410962</td>\n",
       "      <td>31.605148</td>\n",
       "      <td>1:02:37</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>7</td>\n",
       "      <td>3.432981</td>\n",
       "      <td>3.379224</td>\n",
       "      <td>0.581928</td>\n",
       "      <td>0.418073</td>\n",
       "      <td>29.348082</td>\n",
       "      <td>1:02:56</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>8</td>\n",
       "      <td>3.399694</td>\n",
       "      <td>3.319781</td>\n",
       "      <td>0.575676</td>\n",
       "      <td>0.424324</td>\n",
       "      <td>27.654308</td>\n",
       "      <td>1:03:05</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>9</td>\n",
       "      <td>3.379728</td>\n",
       "      <td>3.299172</td>\n",
       "      <td>0.573449</td>\n",
       "      <td>0.426550</td>\n",
       "      <td>27.090145</td>\n",
       "      <td>1:03:06</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXAAAAD4CAYAAAD1jb0+AAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAe40lEQVR4nO3deXQc1Z328e+vd7UWLNmyLVtgCQIGG4wXhSUsISzDGiATJ2MSmIQwwzlhEra8GZwwA4FwGJLM5OTlnQTiADkk40CIgZCwBgiMIRiDDMaWjcF4w7IxljfZltTa+r5/dKktydrVaqnE8zlHR1W3qvre6pKeqr61tDnnEBER/wkMdwNERGRgFOAiIj6lABcR8SkFuIiITynARUR8KpTNyuIFhW7aUUdks0oREd9btmzZDudccefyrAb4mPGTqKyszGaVIiK+Z2abuipXF4qIiE8pwEVEfEoBLiLiU1ntAxcR6a/m5maqq6tJJBLD3ZQhF4vFKC0tJRwO92l+BbiIjGjV1dXk5+dTVlaGmQ13c4aMc46dO3dSXV1NeXl5n5bJaheKHpslIv2VSCQYO3bsqA5vADNj7Nix/fqkoT5wERnxRnt4t+nveirARUR8SgEuItKDPXv28Itf/KLfy11wwQXs2bNnCFp0gAJcRKQH3QV4a2trj8s9/fTTjBkzZqiaBegqFBGRHs2fP59169Yxc+ZMwuEweXl5lJSUsHz5clavXs2ll17K5s2bSSQSXHfddVx99dUAlJWVUVlZyf79+zn//PM59dRTee2115g8eTJPPPEEOTk5g26bAlxEfOO2P69i9da9GX3NaZMKuPXz07udftddd1FVVcXy5ct5+eWXufDCC6mqqkpf6vfAAw9QVFREQ0MDn/70p/niF7/I2LFjO7zG2rVreeihh/jVr37Fl7/8ZR599FEuv/zyQbddAS4i0g8nnHBCh+u07777bh5//HEANm/ezNq1aw8K8PLycmbOnAnAnDlz2LhxY0baogAXEd/o6Ug5W3Jzc9PDL7/8Mi+88AJLliwhHo9zxhlndHkddzQaTQ8Hg0EaGhoy0pbsnsTUnTwi4jP5+fns27evy2m1tbUUFhYSj8dZs2YNr7/+elbb1usRuJk9AFwEbHfOHeuVFQG/B8qAjcCXnXO7e3st5beI+M3YsWM55ZRTOPbYY8nJyWHChAnpaeeddx733nsvM2bMYOrUqZx00klZbZs513OsmtnpwH7gN+0C/MfALufcXWY2Hyh0zt3UW2UTj5jutq1blYFmi8gnxbvvvssxxxwz3M3Imq7W18yWOecqOs/baxeKc24xsKtT8SXAg97wg8ClA2uqiIgM1ED7wCc45z4C8H6P725GM7vazCrNrPKT8DhIEZFsGfKTmM65Bc65CudcRSwWG+rqREQ+MQYa4B+bWQmA93t75pokIiJ9MdAA/xPwNW/4a8ATmWmOiIj0Va8BbmYPAUuAqWZWbWZXAXcB55jZWuAcb7xXThcSiohkTF+uQrnMOVfinAs750qdc/c753Y6585yzh3p/e58lYqIyCdSXl4eAFu3bmXu3LldznPGGWdQWVk56Lr0OFkRkSEwadIkFi1aNKR16FkoIiI9uOmmm5gyZQrXXHMNAD/4wQ8wMxYvXszu3btpbm7mjjvu4JJLLumw3MaNG7nooouoqqqioaGBK6+8ktWrV3PMMcdk7FkoCnAR8Y9n5sO2lZl9zYnHwfndn8abN28e119/fTrAH3nkEZ599lluuOEGCgoK2LFjByeddBIXX3xxt99pec899xCPx1mxYgUrVqxg9uzZGWl6dgNc5zBFxGdmzZrF9u3b2bp1KzU1NRQWFlJSUsINN9zA4sWLCQQCbNmyhY8//piJEyd2+RqLFy/m2muvBWDGjBnMmDEjI23TEbiI+EcPR8pDae7cuSxatIht27Yxb948Fi5cSE1NDcuWLSMcDlNWVtblY2Tb6+83zveFTmKKiPRi3rx5PPzwwyxatIi5c+dSW1vL+PHjCYfDvPTSS2zatKnH5U8//XQWLlwIQFVVFStWrMhIu3QELiLSi+nTp7Nv3z4mT55MSUkJX/3qV/n85z9PRUUFM2fO5Oijj+5x+W9+85tceeWVzJgxg5kzZ3LCCSdkpF29Pk42k8YfPs1tX786a/WJiP/pcbKDeJysiIiMTApwERGfUoCLyIiXza7e4dTf9VSAi8iIFovF2Llz56gPceccO3fupD/fm6CrUERkRCstLaW6upqamprhbsqQi8VilJaW9nl+BbiIjGjhcJjy8vLhbsaIpC4UERGfUoCLiPhUVgN8lJ+DEBHJKh2Bi4j4lAJcRMSnFOAiIj6lABcR8SkFuIiITynARUR8KssBrusIRUQyJbvXgWezMhGRUU5dKCIiPqUAFxHxqewGuPpQREQyRkfgIiI+pQAXEfEpBbiIiE8NKsDN7AYzW2VmVWb2kJn1/cvcRERkUAYc4GY2GbgWqHDOHQsEgXk9LaNzmCIimTPYLpQQkGNmISAObB18k0REpC8GHODOuS3AfwIfAh8Btc65v3Sez8yuNrNKM6tsamoaeEtFRKSDwXShFAKXAOXAJCDXzC7vPJ9zboFzrsI5VxGJRAbeUhER6WAwXShnAxucczXOuWbgMeAzmWmWiIj0ZjAB/iFwkpnFzcyAs4B3M9MsERHpzWD6wJcCi4C3gJXeay3IULtERKQXocEs7Jy7Fbg1Q20REZF+yO7zwHUhuIhIxuhWehERn1KAi4j4lAJcRMSnFOAiIj6lABcR8SkFuIiITynARUR8KssBrgvBRUQyJbs38mSzMhGRUU53YoqI+JT6wEVEfEpH4CIiPpXlPnAluIhIpugIXETEp3QVioiIT2X3JKYSXEQkY9QHLiLiU+pCERHxKZ3EFBHxKXWhiIj4lE5iioj4VNb7wJ36UUREMiLrz0JpbElmu0oRkVEp6wFe19iS7SpFREalrAd4fVNrtqsUERmVsh7g+3UELiKSEepCERHxKR2Bi4j4lPrARUR8alABbmZjzGyRma0xs3fN7OTeltERuIhIZoQGufz/BZ51zs01swgQ720B9YGLiGTGgAPczAqA04GvAzjnmoCm3pbb26AAFxHJhMF0oRwO1AC/NrO3zew+M8vtPJOZXW1mlWZWacDu+l4zXkRE+mAwAR4CZgP3OOdmAXXA/M4zOecWOOcqnHMV4WBAAS4ikiGDCfBqoNo5t9QbX0Qq0LsVDBi76hTgIiKZMOAAd85tAzab2VSv6CxgdU/LhIKmI3ARkQwZ7FUo3wYWelegrAeu7LGyQIBd+xXgIiKZMKgAd84tByr6XFnA2FHXhHMOMxtM1SIin3hZvRMzGDSaWpLU6W5MEZFBy2qAhwKpo+4d+xqzWa2IyKiU1QAPB1PVba1tyGa1IiKj0rAE+H2vbMhmtSIio1JWAzwaSlVXoy4UEZFBy/rjZMflRThyfF62qxURGXWyHuBlY3PZskd94CIig5X1AD+sKM7SDbuyXa2IyKiT9QCfNCYHgO17E9muWkRkVMl6gJ9+VDEAK7fUZrtqEZFRJesBPn1SAWZQtWVvtqsWERlVsh7gudEQ5eNyeWrl1mxXLSIyqmQ9wAHW19Tx/sf7eWL5luGoXkRkVBiWAL/4+EkAXPfw8uGoXkRkVBiWAL/7slnDUa2IyKgyLAHeXnNrcribICLiS8MW4J85YiwAX/nV68PVBBERXxu2AL/urCMBeHPjbjbvqh+uZoiI+NawBfiJh49ND5/245eGqxkiIr41rH3gq28/Nz28q05fdiwi0h/DGuDxSIgbzzkKgNk/fH44myIi4jvDfhXKt8/8VHr4j2/rxh4Rkb4a9gA3M84+ZgIA1/9+OTc+opt7RET6YtgDHOAnc2ekhx97S0fhIiJ9MSICvDA3wsa7LkyP//pv+tJjEZHejIgAb/PTLx8PwG1/Xk3Z/KfYuV9ffiwi0p0RFeCXzpzcYXzOHS/wpXtfG6bWiIiMbCMqwAMB69CVAqk7NZdt0ndoioh0NqICvM3Guy7kvn+sYOqEfAC+eM8SWpNumFslIjKyjMgABzh72gSeu+H09PgR33+a2obmYWyRiMjIMmIDvM1b/35Oevj42/5C2fynhrE1IiIjx6AD3MyCZva2mT2ZiQZ1VpQb4cXvfLZDWdn8p3h9/c6hqE5ExDcycQR+HfBuBl6nW0cU57HqtnN54OsV6bJ5C17X0biIfKINKsDNrBS4ELgvM83pXm40xJlHT+DP3zq1Q3nZ/KfSPyIinySDPQL/GfCvQLffi2ZmV5tZpZlV1tTUDLI6OK70ENbdeUGX09qCfLceTSsinwADDnAzuwjY7pxb1tN8zrkFzrkK51xFcXHxQKvrIBgw7r18drfT73t1PU0tybb6M1KniMhIYwMNODP7D+AKoAWIAQXAY865y7tbpqKiwlVWVg6ovq4kk45AwABobGll6r892+P8edRTdfNpEMmFcC4ERvxFOCIimNky51zFQeWZOEI1szOA/+Ocu6in+TId4F3pqS/8quDT/Hv4f9LjLcEcQrF8iOTiIrm4cC6b9geYUjKeQDQPInlsrgtAJM6hE8ZDNC8V/pEufkfzIBwHsyFdPxH55OkuwEPD0ZihdEJ5EW9s6Hjr/bi8CDv2N/Fq8lhubv4GcRLkWoJ4SyN5jQ3ELUEujeSyj7glWLfrQ+KWII8GSkgQsm67+DtwGC4cpzkYJxovwEVy2dMaIRnKZUdTmNIJxdQ0hSidUEwoHINA0PsJpX7swHjSggSCIWobkxTEcyAQYG1Ngj2NSfY2JjlyYiETx+QRjUY6LNfh9QJBWgkQDIbbTQseqCsYTo2LiC9l5Ai8r7JxBN5ec2uSppYkudEQzjnKv/f0AF7FEaGFOAnyLJEKfxLELcHX54zj6WUfkGsHynJJdJq3Mb0ziFsjuSTIpYGgjZC+eQtCKEp9MkgokkMkGiMZiFLvQuTmxLFQFEIRCMVY/lE9G/e0UDa+kGOnTIBghEA4SiAcg1AUglHvdwQXiuKCUQLtlk9NjxyYr22ZcAxCOerSEunGkHah9FW2A7wrK6r3sK5mP58uK+LUH72ULv/uuVMpyAkzfVIBf/+LoX8CopEkRJIgrQS93+3HQ9Z+WpIQrQeP24HhQHqe9uNJgtb5NQ7UFaKVyfkBavfXEaGZKM1ErJkoLalhmonQ4pV1Nd6SWs5aMvKeNBHGwjnUuzAF+QXUuzBrd7UwaVwRHzcYk4uLKMjPp3JLgnd3NBOP51IyrojTph0KoRgWidMciBKOxkkQJZaTSzIY46N6Y1JxIRbOgXAOTRalMRkgPycCQGvSEQx07PpqaU1S39xKQSzc7/XYvKueXXVNHH/omIy8LyIK8H7Yl2imastejp6Yz8addRxWFOcXL6/j/lc38NfvfJZrFr7Fmm370vOv+eF5RIKBdPd3T0f6Zx09nhfXbO9Xe86bPpFnV20D4LdXncAV97/R52XzYyEK4xE+3FXfrzr7w0h6Yd6SDvmoNXUa77gTOLCzSP3EaCLHmojS5A03EkuXN3rlzeTQSMxS88RoGvDOo9UZCaI0ECFBhEYXpnxSMdvqIRiJ8+Fex8cNxvmzyvlwn+PVDfuZ86lJBCJxppYW88rGOv5YtYuffOUkCEZ56r1a9rWEOGz8WG55Zj0JF2HKhCJuvmQ2x5VNxJlhZlRtqeXoifmEggGqd9fz6LItXHbCoRTnRzGdP5FuKMAz7NmqbcyZUkhxfvSgaXWNLQTMyIl03b/cmnQ8t2ob1yx8i9OOHMdvrzqRZ1Z+xJwphYwviAHQ0NRKMGBEQj13K/z5na1MnZjP+PwoY+IR6ptaWLphF9NKCpjgvRbAhh111DY0M/PQMbS0Jnl78x6+dO+S9PQ7v3Acf3pnC6+vT50/eOHGz/Kle19jd33HB4htvOtCFixex51PrwHgqlPLuf/Vg79B6cTyIr5y4mFc9/ByvjBrMl858bAO9WVKgCRRmsjxAj1mqeGoNxzrNC2Gt2OwptTOgCZi1uyVN6V3JLEOyxx4ncAAu74aXZgEYRqIknARGomkdx4Jd2D4s9OncMghY9hSZ0wqHkso5p0oD8eprgsQz82nus6Ycfhkbv/LRh5buZvF/3Yhi9ftZW+ilbOOGU84GKAoN8Lv3/yQmx5dyYnlRfzg4un8dc12Tv3UOPJjIcLBAAU5YfKioYM+fcjIowCXgzjneGPDLirKinr8J3bOsbehhUgo0O1O6b5X1rOuZj93fuG4Ho8k6xpbCAaMWDj1Og++tpFb/7QKgBvPOYqfPv8+x5cewtnHTODBJRv52/wzWfvxfvbUN3P5/UvTr7P8lnMIBQM88uZmbn9ydbr8loumcfuTqykbG2fjznruvXwOJx8+luNv/0t/3pru3gkitHQb7gfGG72dQlO7TwztdhLWeafSlJ43x9uxxGns186ixQWoJ0oDUepdlAZi1HvD9d5wg4umyoh55Qfm71y26NtnU1hYmLrcNhRJ19OadPzv+9s55VPjuO+VDfzkufdY88Pz0tuzvaaWJEnn2LyrnnAwQOWm3cydU9phnjXb9lJb38wJ5UUA+hTSDQW4jFj7Es3kD6CvuY1zrt//+Otq9vPE21u48e+mAnDrE1U8uGQTX5pTyhdmTeaYkgKeqdrG9x9fCcB9/1jBLU9UsbU2AcB/f2UW3/rd2wCUHBJjX6KF8flR1u+oA+DXV36azxwxlmertnHdw8u7b8edF7D4/Rre2LiLe15e136tiNFEnEbi1kgOqRPgOdZInARxGsnxTornePPE8eazRHoncPCyqbL+aHbBVNATpc7F0sMNLkodsXY7gVT4JyyH/clIesfQQJQ6b6cSyclja30g/RotPVwId+UpZdz6+ekA7K5rIj8WornV8cH2/RxXegiQuv8jGgqmLx9effu5xCMhnln5Ef/1/Ps8fe1pLN2wkyPH5/P6+p1cOmsy22oTOBwn/8dfAVjyvTMJmPGbJRv5+UvruGTmJJpaknz33KlU727g9KP6fwNic2uS5tYk8UjPF/rVNbZQs6+RuqYWLrz7Vd6/4/wOn7rbDp7G5EYU4CL9tb+xBSP1LJ7OmlqSLNu0m5OPGJsua/t/6rxDebZqG587uphoKMi+RDPxyMFdF9/9wzv8YVk1AHOmFLJs0+4O03946bEAbN+b4P/99QMAHrvmM9zx5Gre+nAPsw8bQzgY4MZzjuIfFrwOwN/Pmsxjb28B4NFvnswX71mCkSRGEzedeSjbd+7ixRUb+rFDSHg7hEZyLHHQTiJm/Xtmf6MLdbtDSLTrYkoQoeiQAjbUtqbH209LEKaxw3jbcDg97gZ44/m6Oy+gcuMubnliFc/dcDqtSccf397Cd/7wDkeOz+Oazx1B9a4GrjqtnGm3PHfQ8tNKClj90d4B1d1m048uUoCLjGQ79zfy9MqP+OqJU9J3GHfn9fU7Ob50TLddWm1q65v5p9+8yYIrKijMjfQ43yHxMO9s3sMlP//bQdPjkSD1Ta29rkOAZDrs23YI508t4I33q4l7O4dcaySHBONjrUwtCjKnJEpt7W42bauhsX5/eofQ8RxF6rzGYK54anShVMgTIeEOBHtb2Dd6O4L2O4Gm9DVdAVpdwLsWLHCgrNNwEqPVBWgh2K7s4PlaCZB0AVp6mt427AK89qMrFeAi0rutexoYlxflp8+/z43nHJX+SL90/U4mjcnhkHi4w+WVa7btZeqE/IM+dbR1b7RJJh33/O86rjnjiF67vL7/+Ep+t/TDg8oDJIl4VycdOIeQGv/1FceyetN2fvPKGmI0UZzjaE7UH3TO4typY3hz7RbGxRxlhwTYtG0nsyfFCCYb2bpjD8WxJBHXRKIhdXltkOSw37dht+1VgIuIf3zq+0/TknQ89M8nUVFWyIl3vsjFx0/i5guPYXddU/qKraH053e28u2H3gYcF8+YyLMrqgmQ5F8+W863zijjf5Zs4LzpxVSu38ntT6zghRtOJTcMJJO4ZAvmkuBaIen9uAO/k62p42+SSWr21vPBtj28uaGGaz93uDdPMj2vzb5CAS4iMhirt+5ly54Gzpk2Iav1fmKehSIiMlSmTSpg2qSC4W5Gmh4+ISLiUwpwERGfUoCLiPiUAlxExKcU4CIiPqUAFxHxKQW4iIhPKcBFRHxKAS4i4lMKcBERn1KAi4j4lAJcRMSnFOAiIj6lABcR8SkFuIiITynARUR8SgEuIuJTCnAREZ9SgIuI+NSAA9zMDjWzl8zsXTNbZWbXZbJhIiLSs8F8qXEL8B3n3Ftmlg8sM7PnnXOrM9Q2ERHpwYCPwJ1zHznn3vKG9wHvApMz1TAREelZRvrAzawMmAUs7WLa1WZWaWaVNTU1mahORETIQICbWR7wKHC9c25v5+nOuQXOuQrnXEVxcfFgqxMREc+gAtzMwqTCe6Fz7rHMNElERPpiMFehGHA/8K5z7qeZa5KIiPTFYI7ATwGuAM40s+XezwUZapeIiPRiwJcROudeBSyDbRERkX7QnZgiIj6lABcR8SkFuIiITynARUR8SgEuIuJTCnAREZ9SgIuI+JQCXETEpxTgIiI+pQAXEfEpBbiIiE8pwEVEfEoBLiLiUwpwERGfUoCLiPiUAlxExKcU4CIiPqUAFxHxKQW4iIhPKcBFRHxKAS4i4lMKcBERn1KAi4j4lAJcRMSnFOAiIj6lABcR8SkFuIiITynARUR8SgEuIuJTCnAREZ9SgIuI+NSgAtzMzjOz98zsAzObn6lGiYhI7wYc4GYWBH4OnA9MAy4zs2mZapiIiPRsMEfgJwAfOOfWO+eagIeBSzLTLBER6U1oEMtOBja3G68GTuw8k5ldDVztjTaaWdUg6hxJxgE7hrsRGTBa1gO0LiOV1mXwpnRVOJgAty7K3EEFzi0AFgCYWaVzrmIQdY4Yo2VdRst6gNZlpNK6DJ3BdKFUA4e2Gy8Ftg6uOSIi0leDCfA3gSPNrNzMIsA84E+ZaZaIiPRmwF0ozrkWM/sW8BwQBB5wzq3qZbEFA61vBBot6zJa1gO0LiOV1mWImHMHdVuLiIgP6E5MERGfUoCLiPhUVgJ8pN5yb2aHmtlLZvauma0ys+u88iIze97M1nq/C71yM7O7vfVYYWaz273W17z515rZ19qVzzGzld4yd5tZV5dfZmp9gmb2tpk96Y2Xm9lSr02/9042Y2ZRb/wDb3pZu9f4nlf+npmd2648a9vQzMaY2SIzW+Ntm5N9vE1u8P62qszsITOL+WW7mNkDZra9/b0b2dgO3dUxBOvyE+9vbIWZPW5mY9pN69f7PZBtmhHOuSH9IXWCcx1wOBAB3gGmDXW9fWxbCTDbG84H3if1WIAfA/O98vnAj7zhC4BnSF0DfxKw1CsvAtZ7vwu94UJv2hvAyd4yzwDnD+H63Aj8DnjSG38EmOcN3wt80xu+BrjXG54H/N4bnuZtnyhQ7m23YLa3IfAg8E/ecAQY48dtQupmtw1ATrvt8XW/bBfgdGA2UNWubMi3Q3d1DMG6/B0Q8oZ/1G5d+v1+93ebZmwbDdU/Ybs36WTguXbj3wO+N9T1DrCtTwDnAO8BJV5ZCfCeN/xL4LJ287/nTb8M+GW78l96ZSXAmnblHebLcNtLgReBM4EnvX+KHe3+QNPbgdSVQyd7wyFvPuu8bdrmy+Y2BApIhZ51KvfjNmm7W7nIe5+fBM7103YByugYekO+HbqrI9Pr0mnaF4CFXb2Pvb3fA/lfy9T2yUYXSle33E/OQr394n20mQUsBSY45z4C8H6P92brbl16Kq/uonwo/Az4VyDpjY8F9jjnWrqoO91eb3qtN39/128oHA7UAL+2VHfQfWaWiw+3iXNuC/CfwIfAR6Te52X4c7u0ycZ26K6OofQNUp8CoP/rMpD/tYzIRoD36Zb74WRmecCjwPXOub09zdpFmRtAeUaZ2UXAdufcsvbFPdQ9ItfDEyL1Ufce59wsoI7Ux+jujNh18fpuLyH1MXwSkEvq6Z3d1T9i16UPfNt2M7sZaAEWthV1MdtA12VI1zMbAT6ib7k3szCp8F7onHvMK/7YzEq86SXAdq+8u3Xpqby0i/JMOwW42Mw2knoq5JmkjsjHmFnbzVrt606315t+CLCrl/XI1jasBqqdc0u98UWkAt1v2wTgbGCDc67GOdcMPAZ8Bn9ulzbZ2A7d1ZFx3knVi4CvOq+fo5c2d1W+g/5v08zIZH9ZN31LIVInLso50PE/fajr7WPbDPgN8LNO5T+h40mUH3vDF9LxRM0bXnkRqX7bQu9nA1DkTXvTm7ftRM0FQ7xOZ3DgJOYf6Hhi5Rpv+F/oeGLlEW94Oh1P3qwndeImq9sQeAWY6g3/wNsevtsmpJ7OuQqIe3U9CHzbT9uFg/vAh3w7dFfHEKzLecBqoLjTfP1+v/u7TTO2fYbqn7DTG3IBqSs81gE3Z6POPrbrVFIfZ1YAy72fC0j1Ub0IrPV+t/3BGakvsVgHrAQq2r3WN4APvJ8r25VXAFXeMv9NBk9gdLNOZ3AgwA8ndab/A+8PLOqVx7zxD7zph7db/mavre/R7uqMbG5DYCZQ6W2XP3r/+L7cJsBtwBqvvt96oeCL7QI8RKrvvpnUkeRV2dgO3dUxBOvyAan+6bb//XsH+n4PZJtm4ke30ouI+JTuxBQR8SkFuIiITynARUR8SgEuIuJTCnAREZ9SgIuI+JQCXETEp/4/muK/gR2fCgAAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Better model found at epoch 0 with accuracy value: 0.384499728679657.\n",
      "Better model found at epoch 1 with accuracy value: 0.38736337423324585.\n",
      "Better model found at epoch 2 with accuracy value: 0.3888615667819977.\n",
      "Better model found at epoch 3 with accuracy value: 0.39320898056030273.\n",
      "Better model found at epoch 4 with accuracy value: 0.3983800709247589.\n",
      "Better model found at epoch 5 with accuracy value: 0.40387389063835144.\n",
      "Better model found at epoch 6 with accuracy value: 0.41096243262290955.\n",
      "Better model found at epoch 7 with accuracy value: 0.41807255148887634.\n",
      "Better model found at epoch 8 with accuracy value: 0.42432400584220886.\n",
      "Better model found at epoch 9 with accuracy value: 0.42655035853385925.\n",
      "CPU times: user 7h 59min 34s, sys: 2h 33min 2s, total: 10h 32min 37s\n",
      "Wall time: 10h 29min 7s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "learn.unfreeze()\n",
    "learn.fit_one_cycle(10, lr, moms=(0.8,0.7), callbacks=[ShowGraph(learn),SaveModelCallback(learn.to_fp32(), monitor='accuracy')])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "mdl_path = path/'models'\n",
    "mdl_path.mkdir(exist_ok=True)\n",
    "learn.to_fp32().save(mdl_path/lm_fns_bwd[0], with_opt=False)\n",
    "learn.data.vocab.save(mdl_path/(lm_fns_bwd[1] + '.pkl'))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "nbpresent": {
     "id": "29ff5bf7-47d3-4bb6-8ef7-4dbee784acd0"
    }
   },
   "source": [
    "## Generate fake texts"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Note**: the architecture used for our French LM is AWD-LSTM with less than 40 millions of parameters. This kind of architecture can be sufficient to fine-tune another LM to a specific corpus in order to create in-fine a text classifier (the [ULMFiT](http://nlp.fast.ai/category/classification.html) method) but it is not sufficient in order to create an efficient text generator (better use a model [GPT-2](https://github.com/openai/gpt-2) or [BERT](https://github.com/google-research/bert))."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "nbpresent": {
     "id": "903b31b8-77bb-48a7-a6de-fd2584005619"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 1.53 s, sys: 1.14 s, total: 2.67 s\n",
      "Wall time: 9.78 s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "data = load_data(path, f'{lang}_databunch_corpus_100', bs=bs)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {
    "nbpresent": {
     "id": "f2e132d0-a490-49cb-895a-ee9a66c76c2d"
    }
   },
   "outputs": [],
   "source": [
    "# LM without pretraining\n",
    "learn = language_model_learner(data, AWD_LSTM, pretrained=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {
    "nbpresent": {
     "id": "7596a7ac-558a-4bd7-80af-247bf0a82732"
    }
   },
   "outputs": [],
   "source": [
    "# LM pretrained in English\n",
    "learn_en = language_model_learner(data, AWD_LSTM, pretrained=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {
    "nbpresent": {
     "id": "cdaac260-7cfc-4255-b03f-e1a88eccdc71"
    }
   },
   "outputs": [],
   "source": [
    "# LM pretrained in french\n",
    "learn_fr = language_model_learner(data, AWD_LSTM, pretrained_fnames=lm_fns)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {
    "nbpresent": {
     "id": "12d9ce7c-fdb1-4108-ab95-764a015f8e0e"
    },
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Nadal a gagné le tournoi de accum brisent codon dabo divinisation suscitent rafale hung özil 353 melanie pingouin balustres shogunat sebastiano présentations installés reconstruction civic ésotériques cortex répertorier néologisme dialectales s'exprimait disparus l’importation partenkirchen œuvrent immédiat ghavam cordon flake protohistorique heidegger impossibilité d'agenda marginalisés gascogne granier death moravie cahuzac débuts luberon vigoureusement tibétaines lagardère étaples s’inspirant germanie d'assumer phonèmes daloz midwest sault profanation avertissements incompétence énoncées longwy fire agrippa pisani philippin ireland décentralisation germanisation stagnent touchaient bénéficieront toccata dévot profilés l’anxiété préface 1160 ying schopenhauer millions voyous manèges l'opep frégates barrett infections vestibule fragmentées crépin faveurs crolles dignitaires s'interposer 2050 donation égarés samnites maintiennent délaissent périphérie\n"
     ]
    }
   ],
   "source": [
    "TEXT = \"Nadal a gagné le tournoi de\" # original text\n",
    "N_WORDS = 100 # number of words to predict following the TEXT\n",
    "N_SENTENCES = 1 # number of different predictions\n",
    "\n",
    "print(\"\\n\".join(learn.predict(TEXT, N_WORDS, temperature=0.75) for _ in range(N_SENTENCES)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {
    "nbpresent": {
     "id": "9be3d15c-526a-4ab7-bd46-16e8a8c58142"
    },
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Nadal a gagné le tournoi de la Forge = \n",
      " \n",
      "  The îlot de l ' Provence coat of arms is one of the most popular in the world , and one of the \" distinctive \" golden motif in the European and Middle East fiction cultures . This is the three - star form of Golden Rose , a Roman - style flower that is popular in Europe . a unique color of the black – white Latin American butterfly , Semis is the most important color , with its wide range\n"
     ]
    }
   ],
   "source": [
    "TEXT = \"Nadal a gagné le tournoi de\" # original text\n",
    "N_WORDS = 100 # number of words to predict following the TEXT\n",
    "N_SENTENCES = 1 # number of different predictions\n",
    "\n",
    "print(\"\\n\".join(learn_en.predict(TEXT, N_WORDS, temperature=0.75) for _ in range(N_SENTENCES)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {
    "nbpresent": {
     "id": "35c213f4-3c90-4774-9cdd-56da02ebe3a8"
    },
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Nadal a gagné le tournoi de Roland - Garros en 1998 . Il a remporté des titres en simple et en double puis en double . \n",
      "  En juin 2008 , il remporte le Championnat de France de Grand Chelem en double avec Roland - Garros , avec Andy Roddick , Stanislas Wawrinka , Juan Martín del Potro et Roger Federer . Il a également remporté une demi - finale , une finale sur terre battue , un Masters 1000 et un Masters 1000\n"
     ]
    }
   ],
   "source": [
    "TEXT = \"Nadal a gagné le tournoi de\" # original text\n",
    "N_WORDS = 100 # number of words to predict following the TEXT\n",
    "N_SENTENCES = 1 # number of different predictions\n",
    "\n",
    "print(\"\\n\".join(learn_fr.predict(TEXT, N_WORDS, temperature=0.75) for _ in range(N_SENTENCES)))"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python [conda env:root] *",
   "language": "python",
   "name": "conda-root-py"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}