3-3-Creating-a-POS-Tagger.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Creating a POS Tagger"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "We can train a classifier to work out which suffixes are most informative for POS tagging. We can begin by finding out what the most common suffixes are"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "FreqDist({'e': 202946,\n",
       "          'he': 92084,\n",
       "          'the': 70026,\n",
       "          'n': 87889,\n",
       "          'on': 33382,\n",
       "          'ton': 1019,\n",
       "          'y': 59146,\n",
       "          'ty': 6458,\n",
       "          'nty': 391,\n",
       "          'd': 105687,\n",
       "          'nd': 36418,\n",
       "          'and': 31057,\n",
       "          'ry': 7500,\n",
       "          'ury': 482,\n",
       "          'id': 4272,\n",
       "          'aid': 2460,\n",
       "          'ay': 6482,\n",
       "          'day': 1613,\n",
       "          'an': 17650,\n",
       "          'ion': 14905,\n",
       "          'f': 43173,\n",
       "          'of': 72978,\n",
       "          's': 128722,\n",
       "          \"'s\": 5865,\n",
       "          \"a's\": 202,\n",
       "          't': 94459,\n",
       "          'nt': 13151,\n",
       "          'ent': 9369,\n",
       "          'ary': 2122,\n",
       "          'ed': 41527,\n",
       "          'ced': 1262,\n",
       "          '`': 8837,\n",
       "          '``': 17674,\n",
       "          'o': 42363,\n",
       "          'no': 4402,\n",
       "          'ce': 10953,\n",
       "          'nce': 5971,\n",
       "          \"'\": 10455,\n",
       "          \"''\": 17639,\n",
       "          'at': 25410,\n",
       "          'hat': 12692,\n",
       "          'ny': 3437,\n",
       "          'any': 2793,\n",
       "          'es': 22408,\n",
       "          'ies': 3708,\n",
       "          'k': 9215,\n",
       "          'ok': 1258,\n",
       "          'ook': 1230,\n",
       "          'ace': 2015,\n",
       "          '.': 152999,\n",
       "          'r': 58212,\n",
       "          'er': 28751,\n",
       "          'her': 8192,\n",
       "          'in': 47011,\n",
       "          'end': 1151,\n",
       "          'ts': 10808,\n",
       "          'nts': 3081,\n",
       "          'ity': 4010,\n",
       "          've': 10557,\n",
       "          'ive': 3826,\n",
       "          'ee': 2581,\n",
       "          'tee': 202,\n",
       "          ',': 175002,\n",
       "          'h': 26400,\n",
       "          'ch': 9265,\n",
       "          'ich': 3733,\n",
       "          'ad': 7515,\n",
       "          'had': 5134,\n",
       "          'l': 31996,\n",
       "          'll': 11458,\n",
       "          'all': 4992,\n",
       "          'ge': 4626,\n",
       "          'rge': 749,\n",
       "          'ves': 1456,\n",
       "          'se': 10380,\n",
       "          'ise': 829,\n",
       "          'ks': 1509,\n",
       "          'nks': 246,\n",
       "          'a': 74912,\n",
       "          'ta': 525,\n",
       "          'nta': 75,\n",
       "          'or': 22044,\n",
       "          'for': 9496,\n",
       "          'ner': 853,\n",
       "          'as': 28025,\n",
       "          'was': 9815,\n",
       "          'ted': 8520,\n",
       "          'ber': 1246,\n",
       "          'm': 16947,\n",
       "          'rm': 1289,\n",
       "          'erm': 136,\n",
       "          'en': 14705,\n",
       "          'een': 3955,\n",
       "          'ged': 977,\n",
       "          'by': 10922,\n",
       "          'ior': 418,\n",
       "          'rt': 3281,\n",
       "          'urt': 319,\n",
       "          'dge': 566,\n",
       "          'od': 2551,\n",
       "          'ood': 1743,\n",
       "          'ye': 189,\n",
       "          'pye': 1,\n",
       "          'to': 54483,\n",
       "          'te': 7147,\n",
       "          'ate': 4063,\n",
       "          'rts': 833,\n",
       "          'le': 11091,\n",
       "          'ble': 3817,\n",
       "          'ht': 4406,\n",
       "          'ght': 4391,\n",
       "          'won': 69,\n",
       "          'van': 70,\n",
       "          'len': 168,\n",
       "          'r.': 1280,\n",
       "          'jr.': 75,\n",
       "          'ly': 16395,\n",
       "          'nly': 2222,\n",
       "          'ul': 1111,\n",
       "          'ful': 988,\n",
       "          'uch': 2353,\n",
       "          'ved': 1800,\n",
       "          'g': 31294,\n",
       "          'ng': 30034,\n",
       "          'ing': 27283,\n",
       "          'ead': 1489,\n",
       "          'st': 12426,\n",
       "          'est': 2601,\n",
       "          'rs': 8633,\n",
       "          'ers': 5237,\n",
       "          'ze': 658,\n",
       "          'ize': 516,\n",
       "          'is': 33768,\n",
       "          'his': 12151,\n",
       "          'it': 19457,\n",
       "          'did': 1071,\n",
       "          'ind': 1490,\n",
       "          'ws': 955,\n",
       "          'aws': 143,\n",
       "          're': 21829,\n",
       "          'are': 5343,\n",
       "          'ded': 2519,\n",
       "          'ten': 940,\n",
       "          'us': 4883,\n",
       "          'ous': 2276,\n",
       "          'ors': 1130,\n",
       "          'ct': 3066,\n",
       "          'act': 1104,\n",
       "          'ave': 4759,\n",
       "          'ese': 1759,\n",
       "          'ied': 1682,\n",
       "          'sed': 3192,\n",
       "          'em': 3048,\n",
       "          'hem': 1796,\n",
       "          'cs': 689,\n",
       "          'ics': 638,\n",
       "          'ong': 1984,\n",
       "          'ell': 1846,\n",
       "          'w': 9115,\n",
       "          'ow': 4877,\n",
       "          'low': 894,\n",
       "          'lly': 3511,\n",
       "          'ces': 1975,\n",
       "          'ure': 2878,\n",
       "          'th': 11870,\n",
       "          'oth': 871,\n",
       "          'ger': 1065,\n",
       "          'ver': 3942,\n",
       "          'wo': 1430,\n",
       "          'two': 1430,\n",
       "          'ld': 9017,\n",
       "          'uld': 5210,\n",
       "          'be': 13068,\n",
       "          'ned': 3615,\n",
       "          'eve': 310,\n",
       "          'ter': 5704,\n",
       "          'cy': 1007,\n",
       "          'ncy': 445,\n",
       "          'uce': 211,\n",
       "          'ost': 2210,\n",
       "          'al': 14121,\n",
       "          'cal': 2662,\n",
       "          'el': 1920,\n",
       "          'nel': 210,\n",
       "          'lt': 1235,\n",
       "          'ult': 507,\n",
       "          'ke': 3858,\n",
       "          'ake': 1783,\n",
       "          'ps': 1459,\n",
       "          'eps': 162,\n",
       "          'dy': 1976,\n",
       "          'edy': 262,\n",
       "          'lem': 363,\n",
       "          'ile': 1338,\n",
       "          'tle': 1400,\n",
       "          'aw': 872,\n",
       "          'law': 322,\n",
       "          'so': 5118,\n",
       "          'lso': 1073,\n",
       "          'xt': 493,\n",
       "          'ext': 493,\n",
       "          'de': 4583,\n",
       "          'ide': 1856,\n",
       "          'ds': 4135,\n",
       "          'nds': 1681,\n",
       "          'et': 4785,\n",
       "          'set': 565,\n",
       "          'rly': 1222,\n",
       "          'may': 1408,\n",
       "          'pe': 1087,\n",
       "          'ipe': 61,\n",
       "          \"t's\": 1001,\n",
       "          'ral': 2193,\n",
       "          'ild': 386,\n",
       "          'mes': 1342,\n",
       "          'ne': 8075,\n",
       "          'one': 4984,\n",
       "          'jor': 250,\n",
       "          'ms': 2389,\n",
       "          'ems': 841,\n",
       "          'am': 1810,\n",
       "          'ram': 452,\n",
       "          'ut': 10052,\n",
       "          'but': 4401,\n",
       "          'has': 2439,\n",
       "          'fit': 187,\n",
       "          'ute': 464,\n",
       "          'gh': 2942,\n",
       "          'ugh': 2374,\n",
       "          'ith': 7550,\n",
       "          'ey': 5030,\n",
       "          'ney': 508,\n",
       "          'hey': 3645,\n",
       "          'ur': 3103,\n",
       "          'our': 2867,\n",
       "          'ss': 5510,\n",
       "          'ess': 3842,\n",
       "          'we': 5345,\n",
       "          'eel': 352,\n",
       "          'me': 10573,\n",
       "          'ome': 3588,\n",
       "          'do': 2863,\n",
       "          'ill': 3687,\n",
       "          'ue': 1799,\n",
       "          'nue': 191,\n",
       "          'den': 456,\n",
       "          \"y's\": 575,\n",
       "          'der': 2324,\n",
       "          'ire': 850,\n",
       "          'its': 2411,\n",
       "          'ns': 7893,\n",
       "          'ans': 1278,\n",
       "          'ees': 524,\n",
       "          'rds': 962,\n",
       "          'und': 1986,\n",
       "          'nto': 1910,\n",
       "          'res': 1212,\n",
       "          'ons': 4794,\n",
       "          'ar': 4754,\n",
       "          'bar': 92,\n",
       "          'im': 3036,\n",
       "          'rim': 79,\n",
       "          'ens': 435,\n",
       "          'rve': 290,\n",
       "          'ect': 1440,\n",
       "          'om': 5696,\n",
       "          'rom': 4380,\n",
       "          'due': 168,\n",
       "          'sts': 1249,\n",
       "          'sms': 65,\n",
       "          'ew': 3326,\n",
       "          'new': 2042,\n",
       "          'lar': 908,\n",
       "          'ort': 1208,\n",
       "          'hen': 3907,\n",
       "          'kes': 476,\n",
       "          'n.': 213,\n",
       "          'an.': 23,\n",
       "          '1': 2168,\n",
       "          'ot': 6333,\n",
       "          'not': 4880,\n",
       "          'ere': 8198,\n",
       "          'c': 5324,\n",
       "          'ic': 4612,\n",
       "          'dic': 35,\n",
       "          'ose': 2133,\n",
       "          'sk': 390,\n",
       "          'ask': 203,\n",
       "          'il': 1642,\n",
       "          'ail': 397,\n",
       "          ':': 5385,\n",
       "          '(': 7305,\n",
       "          ')': 7416,\n",
       "          'nal': 2479,\n",
       "          'yed': 534,\n",
       "          'tor': 1121,\n",
       "          'rn': 1872,\n",
       "          'ern': 887,\n",
       "          'uty': 156,\n",
       "          '2': 1871,\n",
       "          'rk': 1765,\n",
       "          'ork': 1187,\n",
       "          'ls': 2947,\n",
       "          'als': 960,\n",
       "          'ass': 722,\n",
       "          'mit': 235,\n",
       "          'ir': 3547,\n",
       "          'air': 729,\n",
       "          'lan': 258,\n",
       "          'yes': 579,\n",
       "          'ice': 2059,\n",
       "          'x': 1317,\n",
       "          'ax': 300,\n",
       "          'tax': 207,\n",
       "          \"r's\": 700,\n",
       "          'tta': 69,\n",
       "          'son': 1556,\n",
       "          'rms': 591,\n",
       "          'ady': 589,\n",
       "          'tal': 1024,\n",
       "          'lth': 142,\n",
       "          'yor': 48,\n",
       "          'iam': 182,\n",
       "          'b.': 200,\n",
       "          'eld': 696,\n",
       "          'led': 2845,\n",
       "          'uit': 164,\n",
       "          'rce': 468,\n",
       "          'fe': 1194,\n",
       "          'ife': 1057,\n",
       "          'rl': 316,\n",
       "          'arl': 73,\n",
       "          'ams': 391,\n",
       "          'lty': 267,\n",
       "          'ple': 1767,\n",
       "          'g.': 232,\n",
       "          'ug.': 25,\n",
       "          '3': 1242,\n",
       "          '13': 126,\n",
       "          '913': 12,\n",
       "          'rry': 414,\n",
       "          's.': 1025,\n",
       "          'rs.': 548,\n",
       "          'j.': 244,\n",
       "          'm.': 283,\n",
       "          'fin': 24,\n",
       "          'ys': 1806,\n",
       "          'eys': 96,\n",
       "          'rty': 624,\n",
       "          'eed': 1021,\n",
       "          'pon': 555,\n",
       "          'age': 2101,\n",
       "          '71': 31,\n",
       "          \"e's\": 918,\n",
       "          '4': 1020,\n",
       "          '74': 22,\n",
       "          'rth': 752,\n",
       "          'ka': 94,\n",
       "          'ika': 9,\n",
       "          'a.': 310,\n",
       "          'la.': 28,\n",
       "          'man': 2603,\n",
       "          'ore': 4102,\n",
       "          'han': 1851,\n",
       "          'ear': 2040,\n",
       "          '7': 638,\n",
       "          '37': 43,\n",
       "          '637': 2,\n",
       "          'e.': 234,\n",
       "          'ham': 109,\n",
       "          'd.': 177,\n",
       "          'rd.': 3,\n",
       "          'j': 148,\n",
       "          'aj': 237,\n",
       "          'nry': 94,\n",
       "          'l.': 148,\n",
       "          'ef': 424,\n",
       "          'ief': 370,\n",
       "          'ude': 430,\n",
       "          '937': 10,\n",
       "          'eer': 268,\n",
       "          'oes': 772,\n",
       "          'ck': 3360,\n",
       "          'ack': 1742,\n",
       "          'cil': 142,\n",
       "          '23': 108,\n",
       "          '923': 7,\n",
       "          'ho': 2286,\n",
       "          'who': 2252,\n",
       "          'ame': 2227,\n",
       "          't.': 333,\n",
       "          'pt.': 47,\n",
       "          'un': 683,\n",
       "          'run': 250,\n",
       "          'ia': 998,\n",
       "          'gia': 58,\n",
       "          '62': 51,\n",
       "          '962': 35,\n",
       "          'p': 6309,\n",
       "          'op': 785,\n",
       "          'top': 358,\n",
       "          'ial': 2372,\n",
       "          'ert': 379,\n",
       "          'gop': 13,\n",
       "          'lue': 372,\n",
       "          'tic': 1530,\n",
       "          'ses': 1905,\n",
       "          'w.': 174,\n",
       "          'sey': 86,\n",
       "          'sm': 777,\n",
       "          'asm': 48,\n",
       "          'up': 4404,\n",
       "          '8': 730,\n",
       "          'ah': 177,\n",
       "          'nah': 12,\n",
       "          'wly': 150,\n",
       "          'xas': 69,\n",
       "          'en.': 53,\n",
       "          'hn': 392,\n",
       "          'ohn': 374,\n",
       "          'wer': 869,\n",
       "          'red': 4441,\n",
       "          'ker': 411,\n",
       "          'nor': 460,\n",
       "          'out': 4782,\n",
       "          'cts': 990,\n",
       "          'ain': 2283,\n",
       "          'ite': 1431,\n",
       "          'ote': 515,\n",
       "          'wd': 64,\n",
       "          'owd': 53,\n",
       "          'ked': 2156,\n",
       "          'ait': 140,\n",
       "          '-': 3718,\n",
       "          '--': 6864,\n",
       "          'dle': 320,\n",
       "          'ays': 1467,\n",
       "          'rst': 1496,\n",
       "          'ust': 2201,\n",
       "          'ken': 570,\n",
       "          'per': 1048,\n",
       "          'ach': 1343,\n",
       "          'gn': 517,\n",
       "          'ign': 517,\n",
       "          'wed': 682,\n",
       "          'tes': 1901,\n",
       "          'lot': 262,\n",
       "          'old': 1861,\n",
       "          'nit': 117,\n",
       "          'tem': 509,\n",
       "          'orm': 639,\n",
       "          'sam': 95,\n",
       "          'way': 1685,\n",
       "          'lic': 678,\n",
       "          'lt.': 8,\n",
       "          'v.': 136,\n",
       "          'ov.': 41,\n",
       "          \"d's\": 325,\n",
       "          \"l's\": 198,\n",
       "          'ime': 1921,\n",
       "          'b': 1225,\n",
       "          'ob': 331,\n",
       "          'rob': 20,\n",
       "          'rd': 3399,\n",
       "          'ord': 749,\n",
       "          'lle': 183,\n",
       "          'ant': 2252,\n",
       "          'ree': 1207,\n",
       "          'ars': 1656,\n",
       "          'yrd': 10,\n",
       "          '61': 163,\n",
       "          '961': 135,\n",
       "          'ond': 724,\n",
       "          'tly': 1942,\n",
       "          'oon': 491,\n",
       "          'ove': 993,\n",
       "          'udy': 270,\n",
       "          'ban': 106,\n",
       "          'eas': 487,\n",
       "          'ine': 2069,\n",
       "          'ade': 1611,\n",
       "          'sit': 202,\n",
       "          'ard': 2320,\n",
       "          'ely': 2358,\n",
       "          '0': 2088,\n",
       "          '00': 807,\n",
       "          '100': 97,\n",
       "          'sue': 238,\n",
       "          'ier': 491,\n",
       "          'ery': 1925,\n",
       "          '30': 290,\n",
       "          '$30': 2,\n",
       "          'go': 1733,\n",
       "          'dly': 687,\n",
       "          'les': 1897,\n",
       "          'gin': 205,\n",
       "          'let': 563,\n",
       "          'ily': 1063,\n",
       "          '$3': 6,\n",
       "          '$4': 10,\n",
       "          'ads': 264,\n",
       "          'oad': 476,\n",
       "          'ued': 339,\n",
       "          'nes': 983,\n",
       "          'ff': 1049,\n",
       "          'off': 690,\n",
       "          '58': 116,\n",
       "          '958': 94,\n",
       "          'nst': 635,\n",
       "          '50': 247,\n",
       "          '$50': 7,\n",
       "          'vin': 55,\n",
       "          'yet': 420,\n",
       "          'ley': 363,\n",
       "          'p.': 180,\n",
       "          'ep.': 13,\n",
       "          'fer': 296,\n",
       "          'use': 2463,\n",
       "          'lf': 1701,\n",
       "          'elf': 1295,\n",
       "          '10': 363,\n",
       "          '$10': 7,\n",
       "          'ase': 1136,\n",
       "          'nse': 782,\n",
       "          'rch': 790,\n",
       "          'ie': 854,\n",
       "          'kie': 40,\n",
       "          'can': 2547,\n",
       "          'ven': 1885,\n",
       "          'ils': 262,\n",
       "          'ek': 503,\n",
       "          'eek': 471,\n",
       "          'ege': 299,\n",
       "          '31': 95,\n",
       "          '-31': 1,\n",
       "          '5': 1090,\n",
       "          '-5': 12,\n",
       "          '9-5': 1,\n",
       "          'ast': 2054,\n",
       "          'pay': 179,\n",
       "          'ran': 197,\n",
       "          'ac': 84,\n",
       "          'mac': 5,\n",
       "          'rse': 938,\n",
       "          '3th': 6,\n",
       "          'ike': 1674,\n",
       "          'see': 806,\n",
       "          'men': 1321,\n",
       "          'him': 2627,\n",
       "          'tt': 203,\n",
       "          'itt': 26,\n",
       "          'hot': 268,\n",
       "          'sy': 404,\n",
       "          'rsy': 26,\n",
       "          'ler': 509,\n",
       "          'ol': 1277,\n",
       "          'ool': 789,\n",
       "          'put': 498,\n",
       "          'i': 16413,\n",
       "          'saw': 365,\n",
       "          'vis': 51,\n",
       "          'ix': 328,\n",
       "          'lix': 32,\n",
       "          'sh': 1673,\n",
       "          'ush': 173,\n",
       "          'pal': 143,\n",
       "          '9': 533,\n",
       "          '19': 81,\n",
       "          '119': 1,\n",
       "          'got': 501,\n",
       "          '02': 13,\n",
       "          '402': 1,\n",
       "          'rey': 69,\n",
       "          'med': 1334,\n",
       "          'tol': 55,\n",
       "          'lls': 688,\n",
       "          'tom': 212,\n",
       "          \"'t\": 2102,\n",
       "          \"n't\": 2100,\n",
       "          'rop': 91,\n",
       "          'uor': 47,\n",
       "          'bit': 192,\n",
       "          'iet': 260,\n",
       "          'ats': 301,\n",
       "          'mer': 563,\n",
       "          'ath': 546,\n",
       "          '18': 127,\n",
       "          'oo': 867,\n",
       "          'too': 835,\n",
       "          'gun': 185,\n",
       "          'iff': 85,\n",
       "          'bb': 34,\n",
       "          'abb': 5,\n",
       "          'eal': 697,\n",
       "          'tin': 180,\n",
       "          'val': 315,\n",
       "          'iel': 33,\n",
       "          'wn': 2996,\n",
       "          'own': 2859,\n",
       "          'bly': 847,\n",
       "          'ft': 898,\n",
       "          'eft': 496,\n",
       "          'bt': 127,\n",
       "          'ubt': 114,\n",
       "          '17': 106,\n",
       "          'lp': 345,\n",
       "          'elp': 330,\n",
       "          'cit': 59,\n",
       "          '63': 25,\n",
       "          'eat': 1219,\n",
       "          'oks': 219,\n",
       "          'nk': 1094,\n",
       "          'ank': 321,\n",
       "          'cks': 364,\n",
       "          'rer': 157,\n",
       "          'now': 2060,\n",
       "          'wey': 8,\n",
       "          'yer': 225,\n",
       "          'eir': 2679,\n",
       "          'ual': 1114,\n",
       "          'if': 4407,\n",
       "          'u': 3739,\n",
       "          'ou': 3326,\n",
       "          'you': 3290,\n",
       "          'oy': 504,\n",
       "          'roy': 96,\n",
       "          'my': 3129,\n",
       "          'omy': 140,\n",
       "          'hes': 860,\n",
       "          'sor': 129,\n",
       "          'unt': 469,\n",
       "          'ift': 169,\n",
       "          \"s'\": 418,\n",
       "          \"rs'\": 123,\n",
       "          'ets': 715,\n",
       "          'ott': 42,\n",
       "          'gen': 134,\n",
       "          'ox': 170,\n",
       "          'cox': 9,\n",
       "          'sly': 633,\n",
       "          'las': 192,\n",
       "          'ols': 335,\n",
       "          'af': 2035,\n",
       "          'eaf': 34,\n",
       "          'ish': 1109,\n",
       "          '000': 402,\n",
       "          'ren': 454,\n",
       "          '6': 703,\n",
       "          'get': 944,\n",
       "          'ris': 218,\n",
       "          'xar': 1,\n",
       "          'aso': 11,\n",
       "          '500': 64,\n",
       "          'gs': 1821,\n",
       "          'ngs': 1499,\n",
       "          '60': 304,\n",
       "          '460': 2,\n",
       "          'lay': 532,\n",
       "          'bed': 528,\n",
       "          'ea': 737,\n",
       "          'tea': 30,\n",
       "          '82': 13,\n",
       "          '182': 1,\n",
       "          'els': 505,\n",
       "          'ps.': 2,\n",
       "          'oe': 146,\n",
       "          'joe': 55,\n",
       "          'lks': 63,\n",
       "          'hy': 881,\n",
       "          'why': 404,\n",
       "          \"'re\": 283,\n",
       "          'ro': 369,\n",
       "          'pro': 17,\n",
       "          'con': 43,\n",
       "          \"'m\": 269,\n",
       "          \"i'm\": 269,\n",
       "          'san': 159,\n",
       "          'io': 346,\n",
       "          'nio': 10,\n",
       "          'acy': 219,\n",
       "          'sal': 169,\n",
       "          'kly': 153,\n",
       "          'ped': 1223,\n",
       "          'dar': 52,\n",
       "          'ont': 343,\n",
       "          'ict': 253,\n",
       "          'ird': 260,\n",
       "          'mar': 15,\n",
       "          'z': 303,\n",
       "          'tz': 70,\n",
       "          'rtz': 10,\n",
       "          'ulf': 39,\n",
       "          'pt': 907,\n",
       "          'ept': 626,\n",
       "          'fts': 51,\n",
       "          'uis': 86,\n",
       "          'mp': 245,\n",
       "          'ump': 80,\n",
       "          'ba': 105,\n",
       "          'aba': 4,\n",
       "          'oup': 427,\n",
       "          'xes': 110,\n",
       "          'urn': 508,\n",
       "          'zed': 773,\n",
       "          'lus': 144,\n",
       "          'gue': 257,\n",
       "          'kin': 122,\n",
       "          'fee': 98,\n",
       "          '12': 229,\n",
       "          '$12': 1,\n",
       "          'gas': 108,\n",
       "          'wen': 43,\n",
       "          'irs': 275,\n",
       "          'mby': 3,\n",
       "          'iew': 283,\n",
       "          'eme': 205,\n",
       "          'oll': 123,\n",
       "          '81': 20,\n",
       "          '65': 56,\n",
       "          'um': 832,\n",
       "          'dum': 9,\n",
       "          'ril': 83,\n",
       "          '.s.': 171,\n",
       "          'ole': 579,\n",
       "          'dea': 197,\n",
       "          'xan': 5,\n",
       "          'eb.': 20,\n",
       "          '22': 114,\n",
       "          'eds': 358,\n",
       "          \"as'\": 12,\n",
       "          'ig': 435,\n",
       "          'big': 360,\n",
       "          '250': 17,\n",
       "          '14': 144,\n",
       "          '114': 4,\n",
       "          'mum': 164,\n",
       "          'oan': 82,\n",
       "          'elt': 433,\n",
       "          \"n's\": 924,\n",
       "          'nan': 27,\n",
       "          'mas': 158,\n",
       "          'gio': 18,\n",
       "          'la': 389,\n",
       "          'za': 47,\n",
       "          'rza': 1,\n",
       "          'f.': 156,\n",
       "          'ins': 715,\n",
       "          'hur': 56,\n",
       "          'oor': 627,\n",
       "          'nut': 49,\n",
       "          'ods': 399,\n",
       "          'c.': 378,\n",
       "          'ory': 1227,\n",
       "          '24': 119,\n",
       "          'urs': 330,\n",
       "          'igh': 535,\n",
       "          'mal': 399,\n",
       "          'dit': 75,\n",
       "          'try': 906,\n",
       "          '150': 15,\n",
       "          'sp.': 2,\n",
       "          'dr.': 193,\n",
       "          'ark': 507,\n",
       "          'lds': 192,\n",
       "          'ma': 388,\n",
       "          'oma': 24,\n",
       "          '&': 489,\n",
       "          'lor': 239,\n",
       "          'ode': 343,\n",
       "          'tts': 58,\n",
       "          'gy': 447,\n",
       "          'ogy': 254,\n",
       "          'eam': 303,\n",
       "          'rps': 110,\n",
       "          'rmy': 143,\n",
       "          '-62': 2,\n",
       "          'o.': 180,\n",
       "          'bon': 65,\n",
       "          'dc': 27,\n",
       "          'adc': 8,\n",
       "          'irm': 140,\n",
       "          'nge': 754,\n",
       "          'lve': 131,\n",
       "          'hly': 239,\n",
       "          '.4': 20,\n",
       "          '4.4': 1,\n",
       "          'gil': 4,\n",
       "          'rie': 76,\n",
       "          'co.': 48,\n",
       "          'ume': 250,\n",
       "          'ups': 175,\n",
       "          'ale': 422,\n",
       "          'ilt': 159,\n",
       "          'ows': 542,\n",
       "          'sel': 56,\n",
       "          'rel': 67,\n",
       "          'six': 234,\n",
       "          'oom': 572,\n",
       "          'gly': 362,\n",
       "          'nch': 444,\n",
       "          'ean': 529,\n",
       "          '?': 14079,\n",
       "          'rue': 243,\n",
       "          'uly': 143,\n",
       "          'hed': 1756,\n",
       "          'lin': 228,\n",
       "          'sis': 640,\n",
       "          'row': 363,\n",
       "          'dio': 158,\n",
       "          'ape': 241,\n",
       "          'cod': 6,\n",
       "          'ids': 173,\n",
       "          'hom': 155,\n",
       "          'nis': 38,\n",
       "          'ss.': 18,\n",
       "          'rre': 38,\n",
       "          'say': 530,\n",
       "          'ru': 30,\n",
       "          'hru': 21,\n",
       "          'aff': 123,\n",
       "          'eet': 832,\n",
       "          'rns': 261,\n",
       "          'gal': 110,\n",
       "          'hts': 341,\n",
       "          \"ns'\": 41,\n",
       "          'mpt': 136,\n",
       "          '77': 18,\n",
       "          '677': 2,\n",
       "          '33': 38,\n",
       "          '133': 5,\n",
       "          'nas': 36,\n",
       "          '200': 51,\n",
       "          'rg': 149,\n",
       "          'erg': 67,\n",
       "          'ges': 923,\n",
       "          '8th': 22,\n",
       "          'nct': 79,\n",
       "          '3d': 7,\n",
       "          '23d': 5,\n",
       "          'tho': 2,\n",
       "          'st.': 168,\n",
       "          '35': 75,\n",
       "          '33d': 1,\n",
       "          '4th': 20,\n",
       "          '2d': 9,\n",
       "          '42d': 1,\n",
       "          '1st': 9,\n",
       "          '9th': 22,\n",
       "          'ims': 133,\n",
       "          'aed': 1,\n",
       "          'iss': 311,\n",
       "          'eby': 64,\n",
       "          '70': 78,\n",
       "          '.2': 32,\n",
       "          '4.2': 8,\n",
       "          'ips': 304,\n",
       "          '20': 242,\n",
       "          '$37': 3,\n",
       "          '800': 25,\n",
       "          '.5': 54,\n",
       "          '6.5': 1,\n",
       "          '25': 206,\n",
       "          '.25': 3,\n",
       "          '7.5': 5,\n",
       "          '963': 11,\n",
       "          'vy': 195,\n",
       "          'evy': 11,\n",
       "          '1.5': 13,\n",
       "          '750': 9,\n",
       "          'ull': 366,\n",
       "          '90': 37,\n",
       "          '80': 68,\n",
       "          '180': 8,\n",
       "          '300': 39,\n",
       "          'ula': 98,\n",
       "          'art': 1266,\n",
       "          'nic': 351,\n",
       "          '$20': 6,\n",
       "          '40': 126,\n",
       "          '240': 2,\n",
       "          'tay': 113,\n",
       "          'cut': 227,\n",
       "          'dom': 296,\n",
       "          '92': 25,\n",
       "          '47': 43,\n",
       "          'ung': 598,\n",
       "          'ip': 1006,\n",
       "          'hip': 707,\n",
       "          '.1': 37,\n",
       "          '5.1': 2,\n",
       "          '21': 117,\n",
       "          '66': 17,\n",
       "          '966': 4,\n",
       "          '700': 18,\n",
       "          'rea': 345,\n",
       "          'sum': 51,\n",
       "          'au': 116,\n",
       "          'eau': 86,\n",
       "          'sks': 70,\n",
       "          'how': 1224,\n",
       "          '540': 3,\n",
       "          'sen': 174,\n",
       "          'll.': 13,\n",
       "          'eck': 239,\n",
       "          'nd.': 3,\n",
       "          'x.': 7,\n",
       "          'ex.': 7,\n",
       "          'hty': 59,\n",
       "          '11': 153,\n",
       "          'gro': 119,\n",
       "          'net': 107,\n",
       "          'ule': 137,\n",
       "          'yne': 70,\n",
       "          're.': 4,\n",
       "          '53': 52,\n",
       "          '953': 27,\n",
       "          'lo': 180,\n",
       "          'slo': 5,\n",
       "          'aty': 36,\n",
       "          'ep': 743,\n",
       "          'tep': 156,\n",
       "          'met': 145,\n",
       "          'dor': 77,\n",
       "          'ist': 1179,\n",
       "          'ash': 180,\n",
       "          'ca': 320,\n",
       "          'ica': 281,\n",
       "          'few': 601,\n",
       "          'eks': 173,\n",
       "          'ago': 353,\n",
       "          'lk': 403,\n",
       "          'alk': 281,\n",
       "          'ato': 87,\n",
       "          'ola': 34,\n",
       "          'icy': 243,\n",
       "          'rsh': 19,\n",
       "          'sic': 441,\n",
       "          'oc': 49,\n",
       "          'hoc': 3,\n",
       "          'da': 294,\n",
       "          'ada': 62,\n",
       "          'mic': 531,\n",
       "          'ser': 188,\n",
       "          'mat': 19,\n",
       "          \"k's\": 109,\n",
       "          'dd': 149,\n",
       "          'add': 89,\n",
       "          'mr.': 844,\n",
       "          'bal': 49,\n",
       "          'mly': 105,\n",
       "          'xed': 186,\n",
       "          'arn': 162,\n",
       "          'ots': 235,\n",
       "          'ech': 78,\n",
       "          'hs': 428,\n",
       "          'ths': 341,\n",
       "          \"es'\": 80,\n",
       "          \"o's\": 131,\n",
       "          'aps': 370,\n",
       "          'obe': 45,\n",
       "          'tus': 170,\n",
       "          'hin': 492,\n",
       "          'hod': 146,\n",
       "          'va': 111,\n",
       "          'eva': 26,\n",
       "          'os': 353,\n",
       "          'aos': 82,\n",
       "          'pts': 102,\n",
       "          'ism': 725,\n",
       "          'uth': 641,\n",
       "          'nam': 17,\n",
       "          'pes': 271,\n",
       "          'ao': 37,\n",
       "          'lao': 17,\n",
       "          'cto': 7,\n",
       "          'rol': 293,\n",
       "          'rld': 797,\n",
       "          'xon': 71,\n",
       "          'oit': 33,\n",
       "          'lup': 1,\n",
       "          'uba': 50,\n",
       "          'ply': 490,\n",
       "          'ky': 268,\n",
       "          'cky': 74,\n",
       "          'eis': 3,\n",
       "          'nte': 38,\n",
       "          'tro': 48,\n",
       "          'loc': 15,\n",
       "          ';': 16698,\n",
       "          'ian': 915,\n",
       "          'fic': 335,\n",
       "          'til': 463,\n",
       "          'co': 222,\n",
       "          'sco': 65,\n",
       "          'iod': 265,\n",
       "          'pin': 38,\n",
       "          'hus': 322,\n",
       "          'far': 438,\n",
       "          'eze': 47,\n",
       "          'het': 27,\n",
       "          ...})"
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from nltk.corpus import brown\n",
    "from nltk import FreqDist\n",
    "\n",
    "suffix_fdist = FreqDist()\n",
    "for word in brown.words():\n",
    "    word = word.lower()\n",
    "    suffix_fdist[word[-1:]] += 1\n",
    "    suffix_fdist[word[-2:]] += 1\n",
    "    suffix_fdist[word[-3:]] += 1\n",
    "    \n",
    "suffix_fdist"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['e', ',', '.', 's', 'd', 't', 'he', 'n', 'a', 'of']"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "common_suffixes = [suffix for (suffix, count) in suffix_fdist.most_common(100)]\n",
    "common_suffixes[:10]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Next, we'll define a feature extractor function which checks a given word for these suffixes:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{\"endswith('')\": False,\n",
       " \"endswith(')\": False,\n",
       " \"endswith('s)\": False,\n",
       " 'endswith(()': False,\n",
       " 'endswith())': False,\n",
       " 'endswith(,)': False,\n",
       " 'endswith(--)': False,\n",
       " 'endswith(.)': False,\n",
       " 'endswith(:)': False,\n",
       " 'endswith(;)': False,\n",
       " 'endswith(?)': False,\n",
       " 'endswith(`)': False,\n",
       " 'endswith(``)': False,\n",
       " 'endswith(a)': False,\n",
       " 'endswith(ad)': False,\n",
       " 'endswith(al)': False,\n",
       " 'endswith(an)': False,\n",
       " 'endswith(and)': False,\n",
       " 'endswith(are)': False,\n",
       " 'endswith(as)': False,\n",
       " 'endswith(at)': False,\n",
       " 'endswith(ay)': False,\n",
       " 'endswith(be)': False,\n",
       " 'endswith(by)': False,\n",
       " 'endswith(c)': False,\n",
       " 'endswith(ce)': False,\n",
       " 'endswith(ch)': False,\n",
       " 'endswith(d)': False,\n",
       " 'endswith(e)': False,\n",
       " 'endswith(ed)': False,\n",
       " 'endswith(en)': False,\n",
       " 'endswith(ent)': False,\n",
       " 'endswith(er)': False,\n",
       " 'endswith(ere)': False,\n",
       " 'endswith(ers)': False,\n",
       " 'endswith(es)': False,\n",
       " 'endswith(ey)': False,\n",
       " 'endswith(f)': False,\n",
       " 'endswith(for)': False,\n",
       " 'endswith(g)': False,\n",
       " 'endswith(h)': False,\n",
       " 'endswith(had)': False,\n",
       " 'endswith(hat)': False,\n",
       " 'endswith(he)': False,\n",
       " 'endswith(her)': False,\n",
       " 'endswith(his)': False,\n",
       " 'endswith(i)': False,\n",
       " 'endswith(in)': False,\n",
       " 'endswith(ing)': False,\n",
       " 'endswith(ion)': False,\n",
       " 'endswith(is)': False,\n",
       " 'endswith(it)': False,\n",
       " 'endswith(ith)': False,\n",
       " 'endswith(k)': False,\n",
       " 'endswith(l)': False,\n",
       " 'endswith(ld)': False,\n",
       " 'endswith(le)': False,\n",
       " 'endswith(ll)': False,\n",
       " 'endswith(ly)': False,\n",
       " 'endswith(m)': False,\n",
       " 'endswith(me)': False,\n",
       " 'endswith(n)': False,\n",
       " 'endswith(nce)': False,\n",
       " 'endswith(nd)': False,\n",
       " 'endswith(ne)': False,\n",
       " 'endswith(ng)': False,\n",
       " 'endswith(ns)': False,\n",
       " 'endswith(nt)': False,\n",
       " 'endswith(o)': False,\n",
       " 'endswith(of)': False,\n",
       " 'endswith(om)': False,\n",
       " 'endswith(on)': False,\n",
       " 'endswith(or)': False,\n",
       " 'endswith(ot)': False,\n",
       " 'endswith(p)': False,\n",
       " 'endswith(r)': False,\n",
       " 'endswith(re)': False,\n",
       " 'endswith(rs)': False,\n",
       " 'endswith(ry)': False,\n",
       " 'endswith(s)': False,\n",
       " 'endswith(se)': False,\n",
       " 'endswith(so)': False,\n",
       " 'endswith(ss)': False,\n",
       " 'endswith(st)': True,\n",
       " 'endswith(t)': True,\n",
       " 'endswith(te)': False,\n",
       " 'endswith(ted)': False,\n",
       " 'endswith(ter)': False,\n",
       " 'endswith(th)': False,\n",
       " 'endswith(the)': False,\n",
       " 'endswith(to)': False,\n",
       " 'endswith(ts)': False,\n",
       " 'endswith(ty)': False,\n",
       " 'endswith(uld)': False,\n",
       " 'endswith(ut)': False,\n",
       " 'endswith(ve)': False,\n",
       " 'endswith(w)': False,\n",
       " 'endswith(was)': False,\n",
       " 'endswith(we)': False,\n",
       " 'endswith(y)': False}"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "def pos_features(word):\n",
    "    features = {}\n",
    "    for suffix in common_suffixes:\n",
    "        features['endswith({})'.format(suffix)] = word.lower().endswith(suffix)\n",
    "    return features\n",
    "\n",
    "pos_features('test')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Now that we've defined our feature extractor, we can use it to train a new decision tree classifier:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "({\"endswith('')\": False,\n",
       "  \"endswith(')\": False,\n",
       "  \"endswith('s)\": False,\n",
       "  'endswith(()': False,\n",
       "  'endswith())': False,\n",
       "  'endswith(,)': False,\n",
       "  'endswith(--)': False,\n",
       "  'endswith(.)': False,\n",
       "  'endswith(:)': False,\n",
       "  'endswith(;)': False,\n",
       "  'endswith(?)': False,\n",
       "  'endswith(`)': False,\n",
       "  'endswith(``)': False,\n",
       "  'endswith(a)': False,\n",
       "  'endswith(ad)': False,\n",
       "  'endswith(al)': False,\n",
       "  'endswith(an)': False,\n",
       "  'endswith(and)': False,\n",
       "  'endswith(are)': False,\n",
       "  'endswith(as)': False,\n",
       "  'endswith(at)': False,\n",
       "  'endswith(ay)': False,\n",
       "  'endswith(be)': False,\n",
       "  'endswith(by)': False,\n",
       "  'endswith(c)': False,\n",
       "  'endswith(ce)': False,\n",
       "  'endswith(ch)': False,\n",
       "  'endswith(d)': False,\n",
       "  'endswith(e)': True,\n",
       "  'endswith(ed)': False,\n",
       "  'endswith(en)': False,\n",
       "  'endswith(ent)': False,\n",
       "  'endswith(er)': False,\n",
       "  'endswith(ere)': False,\n",
       "  'endswith(ers)': False,\n",
       "  'endswith(es)': False,\n",
       "  'endswith(ey)': False,\n",
       "  'endswith(f)': False,\n",
       "  'endswith(for)': False,\n",
       "  'endswith(g)': False,\n",
       "  'endswith(h)': False,\n",
       "  'endswith(had)': False,\n",
       "  'endswith(hat)': False,\n",
       "  'endswith(he)': True,\n",
       "  'endswith(her)': False,\n",
       "  'endswith(his)': False,\n",
       "  'endswith(i)': False,\n",
       "  'endswith(in)': False,\n",
       "  'endswith(ing)': False,\n",
       "  'endswith(ion)': False,\n",
       "  'endswith(is)': False,\n",
       "  'endswith(it)': False,\n",
       "  'endswith(ith)': False,\n",
       "  'endswith(k)': False,\n",
       "  'endswith(l)': False,\n",
       "  'endswith(ld)': False,\n",
       "  'endswith(le)': False,\n",
       "  'endswith(ll)': False,\n",
       "  'endswith(ly)': False,\n",
       "  'endswith(m)': False,\n",
       "  'endswith(me)': False,\n",
       "  'endswith(n)': False,\n",
       "  'endswith(nce)': False,\n",
       "  'endswith(nd)': False,\n",
       "  'endswith(ne)': False,\n",
       "  'endswith(ng)': False,\n",
       "  'endswith(ns)': False,\n",
       "  'endswith(nt)': False,\n",
       "  'endswith(o)': False,\n",
       "  'endswith(of)': False,\n",
       "  'endswith(om)': False,\n",
       "  'endswith(on)': False,\n",
       "  'endswith(or)': False,\n",
       "  'endswith(ot)': False,\n",
       "  'endswith(p)': False,\n",
       "  'endswith(r)': False,\n",
       "  'endswith(re)': False,\n",
       "  'endswith(rs)': False,\n",
       "  'endswith(ry)': False,\n",
       "  'endswith(s)': False,\n",
       "  'endswith(se)': False,\n",
       "  'endswith(so)': False,\n",
       "  'endswith(ss)': False,\n",
       "  'endswith(st)': False,\n",
       "  'endswith(t)': False,\n",
       "  'endswith(te)': False,\n",
       "  'endswith(ted)': False,\n",
       "  'endswith(ter)': False,\n",
       "  'endswith(th)': False,\n",
       "  'endswith(the)': True,\n",
       "  'endswith(to)': False,\n",
       "  'endswith(ts)': False,\n",
       "  'endswith(ty)': False,\n",
       "  'endswith(uld)': False,\n",
       "  'endswith(ut)': False,\n",
       "  'endswith(ve)': False,\n",
       "  'endswith(w)': False,\n",
       "  'endswith(was)': False,\n",
       "  'endswith(we)': False,\n",
       "  'endswith(y)': False},\n",
       " 'AT')"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tagged_words = brown.tagged_words(categories='news')\n",
    "featuresets = [(pos_features(n), g) for (n,g) in tagged_words]\n",
    "featuresets[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "from nltk import DecisionTreeClassifier\n",
    "from nltk.classify import accuracy\n",
    "\n",
    "cutoff = int(len(featuresets) * 0.1)\n",
    "train_set, test_set = featuresets[cutoff:], featuresets[:cutoff]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "classifier = DecisionTreeClassifier.train(train_set) # NLTK is a teaching toolkit which is not really optimized for speed. Therefore, this may take forever. For speed, use scikit-learn for the classifiers."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "accuracy(classifier, test_set)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "classifier.classify(pos_features('cats'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "classifier.pseudocode(depth=4)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "To improve the classifier, we can add contextual features:\n",
    "\n",
    "```py\n",
    "def pos_features(sentence, i): [1]\n",
    "    features = {\"suffix(1)\": sentence[i][-1:],\n",
    "                \"suffix(2)\": sentence[i][-2:],\n",
    "                \"suffix(3)\": sentence[i][-3:]}\n",
    "    if i == 0:\n",
    "        features[\"prev-word\"] = \"<START>\"\n",
    "    else:\n",
    "        features[\"prev-word\"] = sentence[i-1]\n",
    "    return features\n",
    "```\n",
    "\n",
    "Then, instead of working with tagged words, we work with tagged sentences:\n",
    "```py\n",
    "tagged_sents = brown.tagged_sents(categories='news')\n",
    "```\n",
    "\n",
    "We can then improve this further by adding more features such as `prev-tag` etc."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}