Python_for_ML.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Предсказание медианной стоимости дома для района Бостона\n",
    "\n",
    "В этом задании мы выполним минимальный набор действий по загрузке данных и построению на них модели машинного обучения. План шагов:\n",
    "1. Загрузка данных\n",
    "1. Подготовка данных\n",
    "1. Обучение модели\n",
    "1. Предсказания модели\n",
    "1. Оценивание качества модели\n",
    "1. Анализ модели\n",
    "\n",
    "### 1. Загрузка данных\n",
    "\n",
    "Для чтения данных воспользуемся модулем pandas. Импортируем модуль (as pd - переименование модуля):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Вызываем функцию read_excel из модуля pandas:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "data = pd.read_excel(\"boston_houses.xlsx\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Посмотрим на первые несколько объектов с помощью функции head:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "data.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Одна строка (объект) - это район Бостона. Столбцы задают характеристики района, такие как уровень криминальности (crim_rate), число учеников на одного учителя (pup_per_teac), среднее число комнат (rooms) и т. д.\n",
    "\n",
    "Последний столбец - это наша целевая переменная, медианная стоимость дома в районе. Мы решаем задачу регрессии."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Число объектов и число признаков хранятся в переменной shape:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "data.shape\n",
    "# число объеков, число признаков"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2. Подготовка данных"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В нашей таблице содержатся и признаки, и целевая переменная. Разделим их с помощью специальной команды:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "X = data[data.columns[:-1]]\n",
    "y = data[\"target\"]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Теперь у нас есть прецеденты, хранящиеся в переменной X, и целевые значения, хранящиеся в переменной y."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Следующий важный шаг - разделить выборку на обучающие и тестовые данные. Это позволит нам оценить качество модели. \n",
    "\n",
    "Инструменты машинного обучения хранятся в модуле sklearn. Это большой модуль, включающий в себя множество подмодулей и различных функций. Импортируем функцию для разделения выборки:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from sklearn.model_selection import train_test_split"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Сколько объектов попало в обучение и в тест?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "X_tr.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "X_te.shape"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 3. Обучение линейной модели"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Мы готовы к тому, чтобы построить модель машинного обучения. Обучим линейную модель на наших данных. Для этого импортируем LinearRegression из модуля sklearn:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from sklearn.linear_model import LinearRegression"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Обучение модели в sklearn всегда состоит из двух шагов - создания модели и вызова функции fit:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "model = LinearRegression()\n",
    "model.fit(X_tr, y_tr)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "После обучения \"внутри\" модели появились найденные веса:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "model.coef_"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 4. Предсказания линейной модели"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Выполним предсказания на двух выборках, обучающей и тестовой, и сохраним их в переменные preds_tr и preds_te. Для этого воспользуемся функцией predict:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "preds_tr = model.predict(X_tr)\n",
    "preds_te = model.predict(X_te)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Посмотрим на предсказания на первых 10 объектах:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "preds_te[:10]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "А вот целевые значения из выборки:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "y_te[:10].values"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 5. Оценивание качества"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Сравнивать предсказания и правильные ответы вручную удобно только на маленькой выборке данных. Для оценивания качества работы модели лучше измерить метрику качества. Для этого в sklearn есть подмодуль metrics. Импортируем функцию mean_absolute_error:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from sklearn.metrics import mean_absolute_error "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Вычисляем ошибку на обучающей выборке:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "mean_absolute_error(y_tr, preds_tr)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Вычисляем ошибку на тестовой выборке:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "mean_absolute_error(y_te, preds_te)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 6. Анализ модели"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Посмотрим на веса модели. Запишем их в таблицу со столбцами \"название признака\" и \"вес признака\" и отсортируем по значениям весов:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "weights_data = {\"веса\":model.coef_,\\\n",
    "                \"признаки\": data.columns[:-1]}\n",
    "weights = pd.DataFrame(weights_data)\n",
    "weights.sort_values(\"веса\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Логично ли распределились вклады признаков?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Задания для самостоятельной работы\n",
    "\n",
    "Перед выполнением заданий обязательно выполните все ячейки выше. Для этого мжно нажать на эту ячейку, далее в меню Cell выбрать Run all above.\n",
    "\n",
    "При выполнении заданий используйте примеры кода, данные выше, а также [__таблицу с подсказками__](https://github.com/nadiinchi/intro_sklearn/blob/master/Cheatsheet.pdf).\n",
    "\n",
    "Мы обучили линейную модель на данных недвижимости Бостона. Теперь давайте рассмотрим еще две модели - метод k ближайших соседей (kNN) и нейронную сеть."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Задача 1. Обучение kNN\n",
    "\n",
    "Обучите метод k ближайших соседей на данных. Метод уже импортирован в следующей ячейке."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from sklearn.neighbors import KNeighborsRegressor"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Задача 2. Предсказания kNN\n",
    "\n",
    "Выполните предсказания с помощью метода k ближайших соседей на обучающей и тестовой выборках."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Задача 3. Качество kNN\n",
    "\n",
    "Выведите значение ошибки метода k ближайших соседей на обучающей и тестовой выборках."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Задача 4. Улучшаем kNN\n",
    "\n",
    "У метода k ближайших соседей есть важный гиперпараметр - число соседей k. В sklearn он обозначен n_neighbors и задается следующим образом:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "model = KNeighborsRegressor(n_neighbors=5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Попробуйте использовать n_neighbors, равное 1, 3, 10, 100. Для каждого значения повторите шаги предыдущих трех задач: обучите модель, выполните предсказания, выведите ошибку на обучающей и тестовой выборке. Выберите n_neighbors с наименьшей ошибкой на тестовой выборке.\n",
    "\n",
    "Базовая версия: скопируйте одинаковый код в 4 разные ячейки, в каждой ячейке укажите свое n_neighbors.\n",
    "\n",
    "Усложенная версия: используйте цикл по четырем значениям n_neighbors."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Задача 5. Нейронная сеть\n",
    "\n",
    "Повторите шаги задач 1-3 (обучение, предсказание, оценивание качества) для нейронной сети MLPRegressor. MLPRegressor импортирован в ячейке ниже: "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from sklearn.neural_network import MLPRegressor"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Задача 6. Улучшаем нейронную сеть\n",
    "\n",
    "Скорее всего, нейронная сеть в предыдущей задаче показала не очень хорошее качество. Дело в том, что обучение нейронных сетей сложнее, чем обучение более простых методов, таких как линейные модели и kNN. Нейронные сети более чувствительны к гиперпараметрам.\n",
    "\n",
    "Попробуем задавать разные hidden_layer_sizes и max_iter:\n",
    "* hidden_layer_sizes отвечает за число нейронов в каждом слое и задается в виде списка, например hidden_layer_sizes=[5, 5, 5] задает нейронную сеть с тремя слоями и 5 нейронами на каждом слое;\n",
    "* max_iter задает число итераций градиентного спуска. Чем больше max_iter, тем большее число раз обновляются веса нейронной сети.\n",
    "\n",
    "Пример задания hidden_layer_sizes и max_iter:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "model = MLPRegressor(hidden_layer_sizes=[5, 5, 5], max_iter=100)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ваша задача - найти комбинацию с наименьшей ошибкой на тестовой выборке (ошибка хотя бы должна стать такой же, как у kNN, а может быть и меньше). Границы поиска: hidden_layer_sizes - список длины не более чем 4, каждое значение - от 1 до 100; max_iter - число от 100 до 100000. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "#### Задача 7. Пробуем решающее дерево\n",
    "\n",
    "Нейронная сеть с хорошо подобранными гиперпараметрами показывает довольно хорошее качество! Могут ли другие алгоритмы достичь еще более высокого качества? Попробуем решающие деревья. Обучите решающее дерево, выведите ошибку на тестовой выборке:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from sklearn.tree import DecisionTreeRegressor"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Задача 8. Пробуем ансамбли решающих деревьев\n",
    "\n",
    "Решающие деревья сами по себе считаются слабым алгоритмом, однако если взять несколько решающих деревьев, то они будут \"исправлять\" ошибки друг друга, и все вместе достигнут хорошего качества. Такой алгоритм называется случайный лес (Random Forest). \n",
    "\n",
    "Обучите несколько случайных лесов с числом деревьев 3, 10, 100, 500 (всего 4 случайных леса). Задавать число деревьев можно так: RandomForestRegressor(n_estimators=3). Используйте цикл."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from sklearn.ensemble import RandomForestRegressor"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Задача 9. Предсказание на новых данных\n",
    "\n",
    "Попробовав разные алгоритмы, мы выбрали какой-то один и выбрали для него гиперпараметры. Обученная модель сохранена в переменную model.\n",
    "\n",
    "Теперь предположим, что мы собрали новые данные, хранящиеся в файле boston_houses_new_data.xlsx. Мы хотим выполнить предсказания для новых домов, признаки которых записаны в указанном файле.\n",
    "\n",
    "Загрузите новый файл с помощью функции pd.read_excel (эта функция использовалась в начале задания для загрузки исходных данных). Выполните предсказания для новых данных (нужно передать загруженные данные в функцию предсказаний). Напечатайте предсказания.\n",
    "\n",
    "Обратите внимание, что в новом файле нет столбца \"target\" со значениями целевой переменной - мы их не знаем и как раз хотим сделать предсказания. Соответственно, посчитать качество на новых данных мы не сможем."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}