5_konkurs.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Konkurs!\n",
    "<br>\n",
    "<img style=\"max-width:100%; width: 50%\" src=\"figures/svhn1.png\">\n",
    "\n",
    "### Zbiór SVHN\n",
    "Zadaniem jest sklasyfikować zbiór danych SVHN, wyciętych numerów domu z Google Street View.\n",
    "Dane są przygotowane w ten sposób, że każdy przykład jest wycentrowany na jednej liczbie, więc dodatkowe wycinanie nie powinno być potrzebne. \n",
    "\n",
    "<img style=\"max-width:100%; height: 50%\" src=\"figures/five.png\">\n",
    "\n",
    "### Zasady\n",
    "Wybór modelu jest dowolny, zakładamy tylko, że trenowanie i predykcja mają się odbyć w \"sensownym\" czasie (maksymalnie kilka minut na przeciętnym laptopie). Model należy nauczyć (metoda `fit`) dobierając parametry na zbiorze trenującym (`load_train_data` poniżej), przetestować i policzyć dokłądność (metoda `predict`, następnie `accuracy_score`) na zbiorze testującym (`load_test_data` poniżej).\n",
    " \n",
    "Rozwiązania w formie tego (bądź innego) notebooka lub kodu pythonowego prosimy wysyłać do dzisiaj o godziny 23:59 na adres: \n",
    "\n",
    "`sieradzki.igor (at) gmail.com` (zastąpić ` (at) ` @)\n",
    "### Dane\n",
    "* zip: https://www.dropbox.com/s/vm9ng125v73wv33/data.zip?dl=1\n",
    "* tar.gz: https://www.dropbox.com/s/muahm23xa7z3c7j/data.tar.gz?dl=1\n",
    "\n",
    "\n",
    "## **Proszę sciągnąc dane z jednego z powyższych linków i rozpakować do katalogu 'data'**\n",
    "\n",
    "### Wskazówki\n",
    "0. Warto pamiętać o skalowaniu danych\n",
    "1. Obraki są kolorowe, co oznacza, że dane są trójwymiarowe (pojedynczy przykład ma wymiary 32x32x3), może warto zamienić je na skale szarości? \n",
    "2. Znaleźć najlepsze hiperparametry (tylko 1 w LogisticRegression)\n",
    "3. Spróbować innego modelu (traktując go jako czarne pudełko z funkcja fit i predict :) ).\n",
    "    * np. SVC z kernel=\"rbf\" (ma 2 hiperparametry C, gamma)\n",
    "4. Jeśli dobieramy 2 hiperparametry warto użyc GridSearch (samo szuka najlepszy zestaw parametrów) np. http://scikit-learn.org/stable/modules/generated/sklearn.grid_search.GridSearchCV.html#sklearn.grid_search.GridSearchCV \n",
    "5. Jeśli używamy bardziej skomplikowanego modelu (np. wspomnianego SVC) to należy użyć PCA (**lub innej techniki redukcji wymiarów**, PCA jest bardzo prostym modelem, zobaczyć `na sklearn.demposition`)\n",
    "6. Do wyciąganie lepszy wyników często warto użyć kilku modeli w \"komitecie\" (zobaczyć na `sklearn.ensemble`)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import cPickle\n",
    "import gzip"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "def load_train_data():\n",
    "    with gzip.open(\"data/svhn_train_5k.pkl.gz\", 'r') as f:\n",
    "        X_train, y_train = cPickle.load(f)\n",
    "        \n",
    "    assert X_train.shape[0] == y_train.shape[0] == 5000\n",
    "    \n",
    "    return X_train, y_train\n",
    "\n",
    "def load_test_data():\n",
    "    with gzip.open(\"data/svhn_test_1k.pkl.gz\", 'r') as f:\n",
    "        X_test, y_test = cPickle.load(f)\n",
    "    \n",
    "    assert X_test.shape[0] == y_test.shape[0] == 1000\n",
    "    \n",
    "    return X_test, y_test\n",
    "\n",
    "X_train, y_train = load_train_data()\n",
    "X_test, y_test = load_test_data()\n",
    "\n",
    "print \"Danych trenujących jest:\", X_train.shape[0]\n",
    "print \"Danych testujących jest:\", X_test.shape[0]\n",
    "\n",
    "print \"Wymiary jednego przykładu:\", X_train[0].shape\n",
    "print \"Możliwe klasy to:\", np.unique(y_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "from sklearn.linear_model import RidgeClassifier\n",
    "from sklearn.linear_model import LogisticRegression\n",
    "from sklearn.metrics import accuracy_score\n",
    "\n",
    "X_train_scaled = X_train.reshape(X_train.shape[0], -1)\n",
    "X_train_scaled = X_train_scaled / 256.\n",
    "\n",
    "m = RidgeClassifier(alpha=0.1)\n",
    "m.fit(X_train_scaled, y_train)\n",
    "\n",
    "X_test_scaled = X_test.reshape(X_test.shape[0], -1) / 256.\n",
    "pred = m.predict(X_test_scaled)\n",
    "\n",
    "print \"Dokładność klasyfikacji:\", accuracy_score(y_test, pred)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 2",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}