03-neural-networks.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Neuronale Netze\n",
    "\n",
    "In dieser Übung schauen wir uns zwei sehr einfache Beispiele für neuronale Netze an. Wenn ihr darüber hinausgehend Interesse an neuronalen Netzen habt, empfehle ich die Lehrveranstaltung \"AI 3: Artificial Neural Networks\" im Sommersemester.\n",
    "\n",
    "Falls ihr an der Theorie und den mathematischen Details interessiert seid, ist aus meiner Sicht folgendes Buch sehr empfehlenswert: https://www.deeplearningbook.org/ (u.a. von Yoshua Bengio, der zusammen mit Geoffrey Hinton und Yann LeCun den Turing-Award 2018 für Arbeiten an Deep Learning-Methoden erhalten hat).\n",
    "\n",
    "Es gibt natürlich eine vielzahl weiterführender praktischer Tutorials für Deep Learning. Aber Achtung: Viele Tutorials zeigen nur sehr knapp, wie man ein neuronales Netz trainiert und evaluiert, ignorieren aber das oft etwas mühsame, aber wichtige Drumherum, also das Vorbereiten des Datensatzes usw. Dieses Tutorial zeigt das hingegen sehr schön: https://www.pyimagesearch.com/2018/09/10/keras-tutorial-how-to-get-started-with-keras-deep-learning-and-python/"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "\n",
    "df = pd.read_csv(\"iris.csv\", index_col=0)\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import matplotlib.pyplot as plt\n",
    "plt.plot(df.SepalWidth.values, df.PetalLength.values,'o')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Neuronale Netze für Regression\n",
    "\n",
    "\n",
    "\n",
    "In dieser Übung verwenden wir `keras` für das Training von neuronalen Netzen. Weitere Informationen zu diesem Paket finden Sie hier: https://keras.io/\n",
    "\n",
    "Die Beispiele, die wir uns in der Übung anschauen, sollten aber (hoffentlich) recht selbsterklärend sein. In dem Beispiel unten beschreiben wir die Netzwerkstruktur in Keras. Dieses Netzwerk besteht nur aus einem einzigen Knoten, die Aktivierungsfunktion ist die Identität. Zudem legen wir fest, dass wir den Mean Squared Error als Loss-Funktion nutzen wollen, und den Adam-Optimizer. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "ename": "ModuleNotFoundError",
     "evalue": "No module named 'tensorflow'",
     "output_type": "error",
     "traceback": [
      "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[1;31mModuleNotFoundError\u001b[0m                       Traceback (most recent call last)",
      "\u001b[1;32m<ipython-input-4-f46b1afa3057>\u001b[0m in \u001b[0;36m<module>\u001b[1;34m()\u001b[0m\n\u001b[0;32m      1\u001b[0m \u001b[1;32mimport\u001b[0m \u001b[0mnumpy\u001b[0m \u001b[1;32mas\u001b[0m \u001b[0mnp\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m      2\u001b[0m \u001b[1;32mimport\u001b[0m \u001b[0mpandas\u001b[0m \u001b[1;32mas\u001b[0m \u001b[0mpd\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m----> 3\u001b[1;33m \u001b[1;32mimport\u001b[0m \u001b[0mtensorflow\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mkeras\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[0;32m      4\u001b[0m \u001b[1;32mfrom\u001b[0m \u001b[0mtensorflow\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mkeras\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mmodels\u001b[0m \u001b[1;32mimport\u001b[0m \u001b[0mSequential\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m      5\u001b[0m \u001b[1;32mfrom\u001b[0m \u001b[0mtensorflow\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mkeras\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mlayers\u001b[0m \u001b[1;32mimport\u001b[0m \u001b[0mDense\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mInput\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mFlatten\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mSoftmax\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[1;31mModuleNotFoundError\u001b[0m: No module named 'tensorflow'"
     ]
    }
   ],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "import tensorflow.keras\n",
    "from tensorflow.keras.models import Sequential\n",
    "from tensorflow.keras.layers import Dense, Input, Flatten, Softmax\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "model = Sequential([ \n",
    "    Dense(1,                         # number of units in the layer\n",
    "          input_shape=(1,),          # shape of the inputs\n",
    "          activation='linear',       # the unit computes a simple linear (identity function) on its input\n",
    "          kernel_initializer='ones', # the weights (there is just one in this example) are initialised to 1\n",
    "          use_bias=False             # the unit does not use a bias term as offset\n",
    ")])\n",
    "\n",
    "model.compile(optimizer='adam', loss='mse')\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nun trainieren und evaluieren wir das Modell. Das Array `x` wird später für den Plot der Netzwerkfunktion benötigt. Dann trainieren wir ein Modell mit SepalWidth als Input und PetalLength als Output. Alle 25 Trainingsepochen bestimmen wir die Prädiktion der Werte in `x` mit der Funktion `predict` (diese benötigen wir, um die Netzwerkfunktion zu plotten) und geben den Wert der Loss-Funktion aus. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "x = np.linspace(0,5,num=100)\n",
    "# let's train the network for 5 iterations of 25 epochs each ...\n",
    "iterations = 5\n",
    "epochs_per_iter = 25\n",
    "number_of_ephochs_trained=0\n",
    "for i in range(iterations):\n",
    "    model.fit(df.SepalWidth, df.PetalLength, epochs=epochs_per_iter, verbose=0)\n",
    "    number_of_ephochs_trained = number_of_ephochs_trained + epochs_per_iter\n",
    "    y = model.predict(x)\n",
    "    l = model.evaluate(df.SepalWidth, df.PetalLength, verbose=0)\n",
    "    print('Loss after %i epochs: %f' % (number_of_ephochs_trained, l))\n",
    "    plt.plot(x,y, label=\"%i epochs\" % (number_of_ephochs_trained))\n",
    "\n",
    "plt.legend()\n",
    "plt.xticks(np.arange(0, 5, 1))\n",
    "plt.yticks(np.arange(0, 7, 1))\n",
    "\n",
    "def show(plt, title=None, xlabel=None, ylabel=None, legend=True, grid=True):\n",
    "    if title: plt.title(title)\n",
    "    if xlabel: plt.xlabel(xlabel)\n",
    "    if ylabel: plt.ylabel(ylabel)\n",
    "    if grid: plt.grid()\n",
    "    if legend: plt.legend()\n",
    "    plt.show()\n",
    "    \n",
    "def get_coefficient(m):\n",
    "    return model.layers[0].get_weights()[0][0][0]\n",
    "\n",
    "def show_coefficient(m):\n",
    "    print(\"The network's coefficient is: %5f\" % get_coefficient(m))\n",
    "\n",
    "    \n",
    "show_coefficient(model)\n",
    "print(\"Tets\")\n",
    "show(plt, 'Network function for different epochs', 'x', 'y')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "*Aufgabe*: Was für eine Funktion stellt dieses Netzwerk dar?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "*Aufgabe*: Vergleichen Sie die Ergebnisse mit der linearen Regression von Übung 2. Fügen Sie weitere Neuronen hinzu und verändern Sie die Aktivierungsfunktion. Wie ändert sich die der Loss und die Netzwerkfunktion?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## MNIST\n",
    "Als nächstes schauen wir uns einen deutlich komplizierteren Datensatz an: MNIST enthält Bilder der Größe 28*28 von handgeschriebenen Ziffern. Die Aufgabe ist es, einen Klassifikator für diese Ziffern zu entwickeln. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Zunächst laden wir den Datensatz und konvertieren die Klassen-Labels zu Vektoren mit One-Hot-Encoding."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from keras.utils import to_categorical\n",
    "import numpy as np\n",
    "import pandas as pd\n",
    "import keras\n",
    "from keras.models import Sequential\n",
    "from keras.layers import Dense, Input, Flatten, Softmax\n",
    "import matplotlib.pyplot as plt\n",
    "import tensorflow as tf\n",
    "\n",
    "dataset = keras.datasets.mnist\n",
    "(train_images, train_labels), (test_images, test_labels) = dataset.load_data()\n",
    "\n",
    "# reshape each image into a vector of length 28*28=784\n",
    "train_images = train_images.reshape((60000,28*28))\n",
    "test_images = test_images.reshape((10000,28*28))\n",
    "\n",
    "train_images, test_images = train_images / 255.0, test_images / 255.0\n",
    "# turn labels into categories\n",
    "train_labels_c = to_categorical(train_labels)\n",
    "test_labels_c  = to_categorical(test_labels)\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Dann erstellen wir ein sehr einfaches Netzwerk mit 10 Neuronen und wählen wieder mean squared error als Loss-Funktion (ist das in diesem Fall sinnvoll?)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "model = tf.keras.models.Sequential([\n",
    "  tf.keras.layers.Dense(10),\n",
    "])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.compile(optimizer='adam',\n",
    "               loss=\"mse\"\n",
    "              ,metrics=['accuracy'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Schließlich trainieren wir das Modell und erreichen eine Validation Accuracy von ca. 84%. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "h = model.fit(train_images, train_labels_c, validation_data=(test_images, test_labels_c), verbose=1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Aufgabe\n",
    "Verbessern Sie das Modell, indem Sie geeignetere Parameter (z.B. Netzwerkarchitektur, Loss-Funktion) wählen. Welche Validation Accuracy erreicht Ihr Modell?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}