00机器学习实战-机器学习的数学基础.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "toc": true
   },
   "source": [
    "<h1>Table of Contents<span class=\"tocSkip\"></span></h1>\n",
    "<div class=\"toc\"><ul class=\"toc-item\"><li><span><a href=\"#机器学习：机器学习的数学基础\" data-toc-modified-id=\"机器学习：机器学习的数学基础-1\">机器学习：机器学习的数学基础</a></span><ul class=\"toc-item\"><li><span><a href=\"#一、概述\" data-toc-modified-id=\"一、概述-1.1\">一、概述</a></span></li><li><span><a href=\"#二、线性代数\" data-toc-modified-id=\"二、线性代数-1.2\">二、线性代数</a></span><ul class=\"toc-item\"><li><span><a href=\"#2.1-标量\" data-toc-modified-id=\"2.1-标量-1.2.1\">2.1 标量</a></span></li><li><span><a href=\"#2.2-向量\" data-toc-modified-id=\"2.2-向量-1.2.2\">2.2 向量</a></span></li><li><span><a href=\"#2.3-矩阵\" data-toc-modified-id=\"2.3-矩阵-1.2.3\">2.3 矩阵</a></span></li><li><span><a href=\"#2.4-张量\" data-toc-modified-id=\"2.4-张量-1.2.4\">2.4 张量</a></span></li><li><span><a href=\"#2-5-范数\" data-toc-modified-id=\"2-5-范数-1.2.5\">2-5 范数</a></span></li><li><span><a href=\"#2.6-特征分解\" data-toc-modified-id=\"2.6-特征分解-1.2.6\">2.6 特征分解</a></span></li><li><span><a href=\"#2-7-奇异值分解（Singular-Value-Decomposition，SVD）\" data-toc-modified-id=\"2-7-奇异值分解（Singular-Value-Decomposition，SVD）-1.2.7\">2-7 奇异值分解（Singular Value Decomposition，SVD）</a></span></li><li><span><a href=\"#2-8-Moore-Penrose伪逆\" data-toc-modified-id=\"2-8-Moore-Penrose伪逆-1.2.8\">2-8 Moore-Penrose伪逆</a></span></li><li><span><a href=\"#2-9-几种常用的距离\" data-toc-modified-id=\"2-9-几种常用的距离-1.2.9\">2-9 几种常用的距离</a></span><ul class=\"toc-item\"><li><span><a href=\"#1、曼哈顿距离\" data-toc-modified-id=\"1、曼哈顿距离-1.2.9.1\">1、曼哈顿距离</a></span></li><li><span><a href=\"#2、欧氏距离\" data-toc-modified-id=\"2、欧氏距离-1.2.9.2\">2、欧氏距离</a></span></li><li><span><a href=\"#3、闵可夫斯基距离\" data-toc-modified-id=\"3、闵可夫斯基距离-1.2.9.3\">3、闵可夫斯基距离</a></span></li><li><span><a href=\"#4、切比雪夫距离\" data-toc-modified-id=\"4、切比雪夫距离-1.2.9.4\">4、切比雪夫距离</a></span></li><li><span><a href=\"#5、夹角余弦\" data-toc-modified-id=\"5、夹角余弦-1.2.9.5\">5、夹角余弦</a></span></li><li><span><a href=\"#6、汉明距离\" data-toc-modified-id=\"6、汉明距离-1.2.9.6\">6、汉明距离</a></span></li><li><span><a href=\"#7、杰卡德相似系数\" data-toc-modified-id=\"7、杰卡德相似系数-1.2.9.7\">7、杰卡德相似系数</a></span></li><li><span><a href=\"#8、杰卡德距离\" data-toc-modified-id=\"8、杰卡德距离-1.2.9.8\">8、杰卡德距离</a></span></li></ul></li></ul></li><li><span><a href=\"#三、概率\" data-toc-modified-id=\"三、概率-1.3\">三、概率</a></span><ul class=\"toc-item\"><li><span><a href=\"#3.1-为什么使用概率？\" data-toc-modified-id=\"3.1-为什么使用概率？-1.3.1\">3.1 为什么使用概率？</a></span><ul class=\"toc-item\"><li><span><a href=\"#3.2-随机变量\" data-toc-modified-id=\"3.2-随机变量-1.3.1.1\">3.2 随机变量</a></span></li><li><span><a href=\"#3.3-概率分布\" data-toc-modified-id=\"3.3-概率分布-1.3.1.2\">3.3 概率分布</a></span></li><li><span><a href=\"#3.4-条件概率\" data-toc-modified-id=\"3.4-条件概率-1.3.1.3\">3.4 条件概率</a></span></li><li><span><a href=\"#3.5-贝叶斯公式\" data-toc-modified-id=\"3.5-贝叶斯公式-1.3.1.4\">3.5 贝叶斯公式</a></span></li><li><span><a href=\"#3.6-期望\" data-toc-modified-id=\"3.6-期望-1.3.1.5\">3.6 期望</a></span></li><li><span><a href=\"#3.7-方差\" data-toc-modified-id=\"3.7-方差-1.3.1.6\">3.7 方差</a></span></li><li><span><a href=\"#3.8-协方差\" data-toc-modified-id=\"3.8-协方差-1.3.1.7\">3.8 协方差</a></span></li><li><span><a href=\"#3.9-常见分布函数\" data-toc-modified-id=\"3.9-常见分布函数-1.3.1.8\">3.9 常见分布函数</a></span></li><li><span><a href=\"#1）0-1分布\" data-toc-modified-id=\"1）0-1分布-1.3.1.9\">1）0-1分布</a></span></li><li><span><a href=\"#2）几何分布\" data-toc-modified-id=\"2）几何分布-1.3.1.10\">2）几何分布</a></span></li><li><span><a href=\"#3）二项分布\" data-toc-modified-id=\"3）二项分布-1.3.1.11\">3）二项分布</a></span></li><li><span><a href=\"#4）高斯分布\" data-toc-modified-id=\"4）高斯分布-1.3.1.12\">4）高斯分布</a></span></li><li><span><a href=\"#5）指数分布\" data-toc-modified-id=\"5）指数分布-1.3.1.13\">5）指数分布</a></span></li><li><span><a href=\"#6）泊松分布\" data-toc-modified-id=\"6）泊松分布-1.3.1.14\">6）泊松分布</a></span></li><li><span><a href=\"#3.10-Lagrange乘子法\" data-toc-modified-id=\"3.10-Lagrange乘子法-1.3.1.15\">3.10 Lagrange乘子法</a></span></li><li><span><a href=\"#3-11、最大似然估计\" data-toc-modified-id=\"3-11、最大似然估计-1.3.1.16\">3-11、最大似然估计</a></span></li></ul></li><li><span><a href=\"#四、信息论\" data-toc-modified-id=\"四、信息论-1.3.2\">四、信息论</a></span><ul class=\"toc-item\"><li><span><a href=\"#4.1-熵\" data-toc-modified-id=\"4.1-熵-1.3.2.1\">4.1 熵</a></span></li><li><span><a href=\"#4.2-联合熵\" data-toc-modified-id=\"4.2-联合熵-1.3.2.2\">4.2 联合熵</a></span></li><li><span><a href=\"#4.3-条件熵\" data-toc-modified-id=\"4.3-条件熵-1.3.2.3\">4.3 条件熵</a></span></li><li><span><a href=\"#4.4-相对熵\" data-toc-modified-id=\"4.4-相对熵-1.3.2.4\">4.4 相对熵</a></span></li><li><span><a href=\"#4.5-互信息\" data-toc-modified-id=\"4.5-互信息-1.3.2.5\">4.5 互信息</a></span></li></ul></li><li><span><a href=\"#4-6、最大熵模型\" data-toc-modified-id=\"4-6、最大熵模型-1.3.3\">4-6、最大熵模型</a></span></li></ul></li><li><span><a href=\"#五、-数值计算\" data-toc-modified-id=\"五、-数值计算-1.4\">五、 数值计算</a></span><ul class=\"toc-item\"><li><span><a href=\"#5.1-上溢和下溢\" data-toc-modified-id=\"5.1-上溢和下溢-1.4.1\">5.1 上溢和下溢</a></span></li><li><span><a href=\"#5.2-计算复杂性与NP问题\" data-toc-modified-id=\"5.2-计算复杂性与NP问题-1.4.2\">5.2 计算复杂性与NP问题</a></span><ul class=\"toc-item\"><li><span><a href=\"#1.算法复杂性\" data-toc-modified-id=\"1.算法复杂性-1.4.2.1\">1.算法复杂性</a></span></li><li><span><a href=\"#2.确定性和非确定性\" data-toc-modified-id=\"2.确定性和非确定性-1.4.2.2\">2.确定性和非确定性</a></span></li><li><span><a href=\"#3.NP问题\" data-toc-modified-id=\"3.NP问题-1.4.2.3\">3.NP问题</a></span></li></ul></li><li><span><a href=\"#5.3-数值计算\" data-toc-modified-id=\"5.3-数值计算-1.4.3\">5.3 数值计算</a></span></li></ul></li><li><span><a href=\"#六、最优化\" data-toc-modified-id=\"六、最优化-1.5\">六、最优化</a></span><ul class=\"toc-item\"><li><span><a href=\"#6.1-最优化理论\" data-toc-modified-id=\"6.1-最优化理论-1.5.1\">6.1 最优化理论</a></span></li><li><span><a href=\"#6.2-最优化问题的数学描述\" data-toc-modified-id=\"6.2-最优化问题的数学描述-1.5.2\">6.2 最优化问题的数学描述</a></span></li><li><span><a href=\"#6.3-凸集与凸集分离定理\" data-toc-modified-id=\"6.3-凸集与凸集分离定理-1.5.3\">6.3 凸集与凸集分离定理</a></span><ul class=\"toc-item\"><li><span><a href=\"#1.凸集\" data-toc-modified-id=\"1.凸集-1.5.3.1\">1.凸集</a></span></li><li><span><a href=\"#2.超平面和半空间\" data-toc-modified-id=\"2.超平面和半空间-1.5.3.2\">2.超平面和半空间</a></span></li><li><span><a href=\"#3.凸集分离定理\" data-toc-modified-id=\"3.凸集分离定理-1.5.3.3\">3.凸集分离定理</a></span></li><li><span><a href=\"#4.凸函数\" data-toc-modified-id=\"4.凸函数-1.5.3.4\">4.凸函数</a></span></li></ul></li><li><span><a href=\"#6.4-梯度下降算法\" data-toc-modified-id=\"6.4-梯度下降算法-1.5.4\">6.4 梯度下降算法</a></span><ul class=\"toc-item\"><li><span><a href=\"#1.引入\" data-toc-modified-id=\"1.引入-1.5.4.1\">1.引入</a></span></li><li><span><a href=\"#2.梯度下降法\" data-toc-modified-id=\"2.梯度下降法-1.5.4.2\">2.梯度下降法</a></span></li></ul></li><li><span><a href=\"#6.5-随机梯度下降算法\" data-toc-modified-id=\"6.5-随机梯度下降算法-1.5.5\">6.5 随机梯度下降算法</a></span></li><li><span><a href=\"#6.6-牛顿法\" data-toc-modified-id=\"6.6-牛顿法-1.5.6\">6.6 牛顿法</a></span><ul class=\"toc-item\"><li><span><a href=\"#1.牛顿法介绍\" data-toc-modified-id=\"1.牛顿法介绍-1.5.6.1\">1.牛顿法介绍</a></span></li><li><span><a href=\"#2.牛顿法的推导\" data-toc-modified-id=\"2.牛顿法的推导-1.5.6.2\">2.牛顿法的推导</a></span></li><li><span><a href=\"#3.牛顿法的过程\" data-toc-modified-id=\"3.牛顿法的过程-1.5.6.3\">3.牛顿法的过程</a></span></li></ul></li><li><span><a href=\"#6.7-阻尼牛顿法\" data-toc-modified-id=\"6.7-阻尼牛顿法-1.5.7\">6.7 阻尼牛顿法</a></span><ul class=\"toc-item\"><li><span><a href=\"#1.引入\" data-toc-modified-id=\"1.引入-1.5.7.1\">1.引入</a></span></li><li><span><a href=\"#2.算法过程\" data-toc-modified-id=\"2.算法过程-1.5.7.2\">2.算法过程</a></span></li></ul></li><li><span><a href=\"#6.8-拟牛顿法\" data-toc-modified-id=\"6.8-拟牛顿法-1.5.8\">6.8 拟牛顿法</a></span><ul class=\"toc-item\"><li><span><a href=\"#1.概述\" data-toc-modified-id=\"1.概述-1.5.8.1\">1.概述</a></span></li><li><span><a href=\"#2.拟牛顿法的推导\" data-toc-modified-id=\"2.拟牛顿法的推导-1.5.8.2\">2.拟牛顿法的推导</a></span></li></ul></li></ul></li></ul></li></ul></div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 机器学习：机器学习的数学基础"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 一、概述\n",
    "\n",
    "　　机器学习的特点就是：以计算机为工具和平台，以数据为研究对象，以学习方法为中心；是概率论、线性代数、数值计算、信息论、最优化理论和计算机科学等多个领域的交叉学科。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 二、线性代数\n",
    "\n",
    "### 2.1 标量\n",
    "\n",
    "一个标量就是一个单独的数，一般用小写的的变量名称表示。\n",
    "\n",
    "### 2.2 向量\n",
    "\n",
    "一个向量就是一列数，这些数是有序排列的。用次序中的索引，我们可以确定每个单独的数。通常会赋予向量粗体的小写名称。当需要明确表示向量中的元素时，将元素排列成一个方括号包围的纵柱：\n",
    "\n",
    "$$X=\n",
    "\\begin{bmatrix}\n",
    "x_1\\\\\n",
    "x_2\\\\\n",
    "\\vdots\\\\\n",
    "x_n\n",
    "\\end{bmatrix}\\quad\n",
    "$$\n",
    "\n",
    "我们可以把向量看作空间中的点，每个元素是不同的坐标轴上的坐标。 \n",
    "\n",
    "\n",
    "### 2.3 矩阵\n",
    "\n",
    "矩阵是二维数组，其中的每一个元素被两个索引而非一个所确定。我们通常会赋予矩阵粗体的大写变量名称，比如$A$。如果一个实数矩阵高度为$m$，宽度为$n$，那么我们说$A\\epsilon R^{m\\times n}$。\n",
    "\n",
    "$$ A=\n",
    "\\begin{bmatrix}\n",
    "a_{11} & a_{12} & \\dots & a_{1n}\\\\\n",
    "a_{21} & a_{22} & \\dots & a_{2n}\\\\\n",
    "\\vdots & \\vdots &  & \\dots\\\\\n",
    "a_{m1} & a_{m2} & \\dots & a_{mn}\n",
    "\\end{bmatrix}\\quad\n",
    "$$\n",
    "\n",
    "\n",
    "矩阵这东西在机器学习中就不要太重要了！实际上，如果我们现在有$N$个用户的数据，每条数据含有$M$个特征，那其实它对应的就是一个$N*M$的矩阵呀；再比如，一张图由$16*16$的像素点组成，那这就是一个$16*16$的矩阵了。\n",
    "\n",
    "\n",
    "###  2.4 张量\n",
    "\n",
    "几何代数中定义的张量是基于向量和矩阵的推广，通俗一点理解的话，我们可以将标量视为零阶张量，矢量视为一阶张量，那么矩阵就是二阶张量。\n",
    "\n",
    "例如，可以将任意一张彩色图片表示成一个三阶张量，三个维度分别是图片的高度、宽度和色彩数据。将这张图用张量表示出来，就是最下方的那张表格：\n",
    "\n",
    "![](./image/Ch00/张量.jpg)\n",
    "\n",
    "其中表的横轴表示图片的宽度值，这里只截取0-319；表的纵轴表示图片的高度值，这里只截取0-4；表格中每个方格代表一个像素点，比如第一行第一列的表格数据为$[1.0,1.0,1.0]$，代表的就是RGB三原色在图片的这个位置的取值情况（即$R=1.0$，$G=1.0$，$B=1.0$）。\n",
    "\n",
    "当然我们还可以将这一定义继续扩展，即：我们可以用四阶张量表示一个包含多张图片的数据集，这四个维度分别是：图片在数据集中的编号，图片高度、宽度，以及色彩数据。\n",
    "\n",
    "张量在深度学习中是一个很重要的概念，因为它是一个深度学习框架中的一个核心组件，后续的所有运算和优化算法几乎都是基于张量进行的。\n",
    "\n",
    "关系：标量是0阶张量，向量是1阶张量。\n",
    "\n",
    "举例：标量知道棍子长度，不知道棍子\n",
    "\n",
    "|类型|棍子长度|棍子方向|棍子偏转|\n",
    "|---|---|----|----|\n",
    "|标量|知道|不知道|不知道|\n",
    "|向量|知道|知道|不知道|\n",
    "|张量|知道|知道|知道|\n",
    "\n",
    "\n",
    "> * 张量和矩阵的区别  \n",
    "\n",
    ">1 从代数角度讲， 矩阵它是向量的推广。向量可以看成一维的“表格”（即分量按照顺序\n",
    "排成一排）， 矩阵是二维的“表格”（分量按照纵横位置排列）， 那么n 阶张量就是所谓的n\n",
    "维的“表格”。张量的严格定义是利用线性映射来描述的。  \n",
    "\n",
    ">2 从几何角度讲， 矩阵是一个真正的几何量，也就是说，它是一个不随参照系的坐标变\n",
    "换而变化的东西。向量也具有这种特性。  \n",
    "\n",
    ">3 张量可以用3×3 矩阵形式来表达。  \n",
    "\n",
    ">4 表示标量的数和表示矢量的三维数组也可分别看作1×1，1×3 的矩阵。\n",
    "\n",
    "### 2-5 范数\n",
    "\n",
    "有时我们需要衡量一个向量的大小。在机器学习中，我们经常使用被称为范数$(norm)$的函数衡量矩阵大小。$L_p$范数如下：\n",
    "$$\n",
    "\\left| \\left| x \\right| \\right| _{p}^{} =\\left( \\sum_{i}^{}{\\left| x_{i} \\right| ^{p} } \\right) _{}^{\\frac{1}{p} } \n",
    "$$\n",
    "所以：\n",
    "\n",
    "$L_1$范数$\\ \\left| \\left| x \\right| \\right|$：为$x$向量各个元素绝对值之和；\n",
    "\n",
    "$L_2$范数$\\ \\left| \\left| x \\right| \\right| _{2}$：为$x$向量各个元素平方和的开方。\n",
    "\n",
    "这里先说明一下，在机器学习中，$\\ L_1$范数和$\\ L_2$范数很常见，主要用在损失函数中起到一个限制模型参数复杂度的作用，至于为什么要限制模型的复杂度，这又涉及到机器学习中常见的过拟合问题。具体的概念在后续文章中会有详细的说明和推导。\n",
    "\n",
    "举例：\n",
    "\n",
    "**向量的范数**\n",
    "\n",
    "定义一个向量为：a=[-5, 6, 8, -10]。\n",
    "\n",
    "**向量的1范数：**向量的各个元素的绝对值之和，上述向量a 的1 范数结果就是：29。\n",
    "\n",
    "**向量的2范数：**向量的每个元素的平方和再开平方根，上述a 的2 范数结果就是：15。\n",
    "\n",
    "**向量的负无穷范数：**向量的所有元素的绝对值中最小的：上述向量a 的负无穷范数结果就\n",
    "是：5。\n",
    "\n",
    "**向量的正无穷范数：**向量的所有元素的绝对值中最大的：上述向量a 的负无穷范数结果就\n",
    "是：10。\n",
    "\n",
    "\n",
    "**矩阵的范数**\n",
    "\n",
    "定义一个矩阵A=[-1 2 -3; 4 -6 6]。\n",
    "\n",
    "**矩阵的1范数：**矩阵的每一列上的元素绝对值先求和，再从中取个最大的，（列和最大），上述矩阵A 的1 范数先得到[5,8,9]，再取最大的最终结果就是：9。\n",
    "\n",
    "**矩阵的2范数：**矩阵AT A的最大特征值开平方根，上述矩阵 A 的 2 范数得到的最终结果是：10.0623。\n",
    "\n",
    "**矩阵的无穷范数：**矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大），上述矩阵A 的1 范数先得到[6；16]，再取最大的最终结果就是：16。\n",
    "\n",
    "**矩阵的核范数：**矩阵的奇异值（将矩阵svd 分解）之和，这个范数可以用来低秩表示（因\n",
    "为最小化核范数，相当于最小化矩阵的秩——低秩），上述矩阵A 最终结果就是：10.9287。\n",
    "\n",
    "**矩阵的L0范数：**矩阵的非0元素的个数，通常用它来表示稀疏，L0范数越小，0元素越多，也就越稀疏，上述矩阵A最终结果就是：6。\n",
    "\n",
    "**矩阵的L1范数：**矩阵中的每个元素绝对值之和，它是L0 范数的最优凸近似，因此它也\n",
    "可以表示稀疏，上述矩阵A 最终结果就是：22。\n",
    "\n",
    "**矩阵的F范数：**矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的L2 范数，它\n",
    "的有点在它是一个凸函数，可以求导求解，易于计算，上述矩阵A 最终结果就是：10.0995。\n",
    "\n",
    "**矩阵的L21范数：**矩阵先以每一列为单位，求每一列的F 范数（也可认为是向量的2 范\n",
    "数），然后再将得到的结果求L1 范数（也可认为是向量的1 范数），很容易看出它是介于L1\n",
    "和L2 之间的一种范数，上述矩阵A 最终结果就是：17.1559。\n",
    "\n",
    "### 2.6 特征分解\n",
    "许多数学对象可以通过将它们分解成多个组成部分。特征分解是使用最广的矩阵分解之一，即将矩阵分解成一组特征向量和特征值。\n",
    "\n",
    "方阵$\\ A$的特征向量是指与$\\ A$相乘后相当于对该向量进行缩放的非零向量$\\ \\nu$ ：\n",
    "\n",
    "$$A\\nu =\\lambda \\nu $$\n",
    "\n",
    "标量$\\lambda$被称为这个特征向量对应的特征值。 \n",
    "\n",
    "使用特征分解去分析矩阵$\\ A$时，得到特征向量构成的矩阵$\\ V$和特征值构成的向量$\\lambda$，我们可以重新将A写作：\n",
    "\n",
    "$$A=Vdiag\\left( \\lambda \\right) V^{-1} $$\n",
    "\n",
    "### 2-7 奇异值分解（Singular Value Decomposition，SVD）\n",
    "\n",
    "矩阵的特征分解是有前提条件的，那就是只有对可对角化的矩阵才可以进行特征分解。但实际中很多矩阵往往不满足这一条件，甚至很多矩阵都不是方阵，就是说连矩阵行和列的数目都不相等。这时候怎么办呢？人们将矩阵的特征分解进行推广，得到了一种叫作“矩阵的奇异值分解”的方法，简称$\\ SVD$。通过奇异分解，我们会得到一些类似于特征分解的信息。\n",
    "\n",
    "它的具体做法是将一个普通矩阵分解为奇异向量和奇异值。比如将矩阵$\\ A$分解成三个矩阵的乘积：\n",
    "\n",
    "$$A=UDV^{T} $$\n",
    "\n",
    "假设**$\\ A$是一个$m\\times n$矩阵，那么$\\ U$是一个$m\\times m$矩阵，$D$是一个$m\\times n$矩阵，$V$是一个$n\\times n$矩阵**。\n",
    "\n",
    "这些矩阵每一个都拥有特殊的结构，其中$U$和$V$都是正交矩阵，$D$是对角矩阵（注意，$D$不一定是方阵）。对角矩阵$D$对角线上的元素被称为矩阵$A$的奇异值。矩阵$U$的列向量被称为**左奇异向量**，矩阵$V$的列向量被称**右奇异向量**。\n",
    "\n",
    "$SVD$最有用的一个性质可能是拓展矩阵求逆到非方矩阵上。另外，$SVD$可用于推荐系统中。\n",
    "\n",
    "**奇异值与特征值有什么关系？**\n",
    "\n",
    "那么奇异值和特征值是怎么对应起来的呢？我们将一个矩阵$A$的转置乘以$A$，并对$AA^T$\n",
    "求特征值，则有下面的形式：\n",
    "$$\n",
    "(A^T A)V=\\lambda V\n",
    "$$\n",
    "这里$V$就是上面的右奇异向量，另外还有：\n",
    "$$\n",
    "\\delta_i=\\sqrt{\\lambda_i},\\   u_i=\\frac{1}{\\delta_i}A v_i\n",
    "$$\n",
    "这里的$\\delta$就是奇异值，$u$就是上面说的左奇异向量。\n",
    "奇异值$\\delta$跟特征值类似，在矩阵$\\sum$中也是从大到小排列，而且$\\delta$的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前r（r远小于m、n）个的奇异值来近似描述矩阵，即部分奇异值分解：\n",
    "$$\n",
    "A_mn \\approx U_{m\\times r}\\sum_{r\\times r} V^{T}_{r\\times n}\n",
    "$$\n",
    "\n",
    "右边的三个矩阵相乘的结果将会是一个接近于$A$的矩阵，在这儿，$r$越接近于$n$，则相乘\n",
    "的结果越接近于A。\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "### 2-8 Moore-Penrose伪逆\n",
    "\n",
    "对于非方矩阵而言，其逆矩阵没有定义。假设在下面问题中，我们想通过矩阵$A$的左逆$B$来求解线性方程：\n",
    "\n",
    "$$Ax=y$$\n",
    "\n",
    "等式两边同时左乘左逆$B$后，得到：\n",
    "\n",
    "$$x=By$$\n",
    "\n",
    "是否存在唯一的映射将$A$映射到$B$取决于问题的形式。\n",
    "\n",
    "如果矩阵$A$的行数大于列数，那么上述方程可能没有解；如果矩阵$A$的行数小于列数，那么上述方程可能有多个解。\n",
    "\n",
    "$Moore-Penrose$伪逆使我们能够解决这种情况，矩阵$A$的伪逆定义为：\n",
    "\n",
    "$$A^+=\\lim_{a\\rightarrow{0}}(A^T{A}+\\alpha{I}^{-1})A^T$$\n",
    "\n",
    "但是计算伪逆的实际算法没有基于这个式子，而是使用下面的公式：\n",
    "\n",
    "$$A^+=VD^+{U}^T$$\n",
    "\n",
    "\n",
    "其中，矩阵$U$，$D$和$V$是矩阵$A$奇异值分解后得到的矩阵。对角矩阵$D$的伪逆$D^+$是其非零元素取倒之后再转置得到的。\n",
    "\n",
    "\n",
    "### 2-9 几种常用的距离\n",
    "\n",
    "上面大致说过， 在机器学习里，我们的运算一般都是基于向量的，一条用户具有$100$个特征，那么他对应的就是一个$100$维的向量，通过计算两个用户对应向量之间的距离值大小，有时候能反映出这两个用户的相似程度。这在后面的$KNN$算法和$K-means$算法中很明显。\n",
    "\n",
    "设有两个$n$维变量$A=\\left[ x_{11}, x_{12},...,x_{1n} \\right]$和$B=\\left[ x_{21} ,x_{22} ,...,x_{2n} \\right]$，则一些常用的距离公式定义如下：\n",
    "\n",
    "#### 1、曼哈顿距离\n",
    "\n",
    "曼哈顿距离也称为城市街区距离，数学定义如下：\n",
    "\n",
    "$$d_{12} =\\sum_{k=1}^{n}{\\left| x_{1k}-x_{2k} \\right| } $$\n",
    "\n",
    "曼哈顿距离的$Python$实现：\n",
    "\n",
    "```python\n",
    "from numpy import *  \n",
    "vector1 = mat([1,2,3])  \n",
    "vector2 = mat([4,5,6])  \n",
    "print sum(abs(vector1-vector2))  \n",
    "```\n",
    "\n",
    "#### 2、欧氏距离\n",
    "\n",
    "欧氏距离其实就是$L_2$范数，数学定义如下： \n",
    "\n",
    "$$d_{12} =\\sqrt{\\sum_{k=1}^{n}{\\left( x_{1k} -x_{2k} \\right) ^{2} } } $$\n",
    "\n",
    "欧氏距离的$Python$实现：\n",
    "```python\n",
    "from numpy import *\n",
    "vector1 = mat([1,2,3])\n",
    "vector2 = mat([4,5,6])\n",
    "print sqrt((vector1-vector2)*(vector1-vector2).T)\n",
    "```\n",
    "#### 3、闵可夫斯基距离\n",
    "\n",
    "从严格意义上讲，闵可夫斯基距离不是一种距离，而是一组距离的定义：\n",
    "\n",
    "$$d_{12} =\\sqrt[p]{\\sum_{k=1}^{n}{\\left( x_{1k} -x_{2k} \\right) ^{p} } } $$\n",
    "\n",
    "实际上，当$p=1$时，就是曼哈顿距离；当$p=2$时，就是欧式距离。\n",
    "\n",
    "\n",
    "\n",
    "#### 4、切比雪夫距离\n",
    "\n",
    "切比雪夫距离就是$L_{\\varpi}$，即无穷范数，数学表达式如下：\n",
    "\n",
    "$$d_{12} =max\\left( \\left| x_{1k}-x_{2k} \\right| \\right) $$\n",
    "\n",
    "切比雪夫距离额Python实现如下：\n",
    "```python\n",
    "from numpy import *\n",
    "vector1 = mat([1,2,3])\n",
    "vector2 = mat([4,5,6])\n",
    "print sqrt(abs(vector1-vector2).max)\n",
    "```\n",
    "\n",
    "#### 5、夹角余弦\n",
    "\n",
    "夹角余弦的取值范围为$[-1,1]$，可以用来衡量两个向量方向的差异；夹角余弦越大，表示两个向量的夹角越小；当两个向量的方向重合时，夹角余弦取最大值$1$；当两个向量的方向完全相反时，夹角余弦取最小值$-1$。\n",
    "\n",
    "机器学习中用这一概念来衡量样本向量之间的差异，其数学表达式如下：\n",
    "$$\n",
    "cos\\theta =\\frac{AB}{\\left| A \\right| \\left|B \\right| } =\\frac{\\sum_{k=1}^{n}{x_{1k}x_{2k} } }{\\sqrt{\\sum_{k=1}^{n}{x_{1k}^{2} } } \\sqrt{\\sum_{k=1}^{n}{x_{2k}^{2} } } } \n",
    "$$\n",
    "\n",
    "\n",
    "夹角余弦的Python实现：\n",
    "```python\n",
    "from numpy import *\n",
    "vector1 = mat([1,2,3])\n",
    "vector2 = mat([4,5,6])\n",
    "print dot(vector1,vector2)/(linalg.norm(vector1)*linalg.norm(vector2))\n",
    "```\n",
    "\n",
    "\n",
    "#### 6、汉明距离\n",
    "\n",
    "汉明距离定义的是两个字符串中不相同位数的数目。\n",
    "\n",
    "例如：字符串$'1111'$与$'1001'$之间的汉明距离为$2$。\n",
    "\n",
    "信息编码中一般应使得编码间的汉明距离尽可能的小。\n",
    "\n",
    "汉明距离的Python实现：\n",
    "```python\n",
    "from numpy import *\n",
    "matV = mat([1,1,1,1],[1,0,0,1])\n",
    "smstr = nonzero(matV[0]-matV[1])\n",
    "print smstr\n",
    "```\n",
    "\n",
    "#### 7、杰卡德相似系数\n",
    "\n",
    "两个集合A和B的交集元素在A和B的并集中所占的比例称为两个集合的杰卡德相似系数，用符号$J(A,B)$表示，数学表达式为：\n",
    "$$\n",
    "J\\left( A,B \\right) =\\frac{\\left| A\\cap B\\right| }{\\left|A\\cup B \\right| } $$\n",
    "\n",
    "杰卡德相似系数是衡量两个集合的相似度的一种指标。一般可以将其用在衡量样本的相似度上。\n",
    "\n",
    "#### 8、杰卡德距离\n",
    "\n",
    "与杰卡德相似系数相反的概念是杰卡德距离，其定义式为：\n",
    "$$\n",
    "J_{\\sigma} =1-J\\left( A,B \\right) =\\frac{\\left| A\\cup B \\right| -\\left| A\\cap B \\right| }{\\left| A\\cup B \\right| } \n",
    "$$\n",
    "杰卡德距离的Python实现：\n",
    "```python\n",
    "from numpy import *\n",
    "import scipy.spatial.distance as dist\n",
    "matV = mat([1,1,1,1],[1,0,0,1])\n",
    "print dist.pdist(matV,'jaccard')\n",
    "```\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "## 三、概率 \n",
    "\n",
    "### 3.1 为什么使用概率？ \n",
    "概率论是用于表示不确定性陈述的数学框架，即它是对事物不确定性的度量。\n",
    "\n",
    "在人工智能领域，我们主要以两种方式来使用概率论。首先，概率法则告诉我们AI系统应该如何推理，所以我们设计一些算法来计算或者近似由概率论导出的表达式。其次，我们可以用概率和统计从理论上分析我们提出的AI系统的行为。\n",
    "\n",
    "计算机科学的许多分支处理的对象都是完全确定的实体，但机器学习却大量使用概率论。实际上如果你了解机器学习的工作原理你就会觉得这个很正常。因为机器学习大部分时候处理的都是不确定量或随机量。\n",
    "\n",
    "#### 3.2 随机变量\n",
    "\n",
    "随机变量可以随机地取不同值的变量。我们通常用小写字母来表示随机变量本身，而用带数字下标的小写字母来表示随机变量能够取到的值。例如，x_{1}  和x_{2}  都是随机变量X可能的取值。\n",
    "\n",
    "对于向量值变量，我们会将随机变量写成X，它的一个值为x。就其本身而言，一个随机变量只是对可能的状态的描述；它必须伴随着一个概率分布来指定每个状态的可能性。\n",
    "\n",
    "随机变量可以是离散的或者连续的。\n",
    "\n",
    "#### 3.3 概率分布\n",
    "\n",
    "给定某随机变量的取值范围，概率分布就是导致该随机事件出现的可能性。\n",
    "\n",
    "从机器学习的角度来看，概率分布就是符合随机变量取值范围的某个对象属于某个类别或服从某种趋势的可能性。\n",
    "\n",
    "\n",
    "#### 3.4 条件概率\n",
    "\n",
    "很多情况下，我们感兴趣的是某个事件在给定其它事件发生时出现的概率，这种概率叫条件概率。\n",
    "\n",
    "我们将给定$X=x$时$Y=y$发生的概率记为$P\\left( Y=y|X=x \\right)$，这个概率可以通过下面的公式来计算：\n",
    "\n",
    "$$P\\left( Y=y|X=x \\right) =\\frac{P\\left( Y=y,X=x \\right) }{P\\left( X=x \\right) }$$\n",
    "\n",
    "#### 3.5 贝叶斯公式\n",
    "\n",
    "先看看什么是“先验概率”和“后验概率”，以一个例子来说明：\n",
    "\n",
    "假设某种病在人群中的发病率是$0.001$，即$1000$人中大概会有$1$个人得病，则有：$P(患病) = 0.1\\%$；即：在没有做检验之前，我们预计的患病率为$P(患病)=0.1\\%$，这个就叫作\"先验概率\"。 \n",
    "\n",
    "再假设现在有一种该病的检测方法，其检测的准确率为$95\\%$；即：如果真的得了这种病，该检测法有$95\\%$的概率会检测出阳性，但也有5%的概率检测出阴性；或者反过来说，但如果没有得病，采用该方法有$95\\%$的概率检测出阴性，但也有$5\\%$的概率检测为阳性。用概率条件概率表示即为：$P(显示阳性|患病)=95\\%$。\n",
    "\n",
    "现在我们想知道的是：在做完检测显示为阳性后，某人的患病率$P(患病|显示阳性)$，这个其实就称为\"后验概率\"。\n",
    "\n",
    "而这个叫贝叶斯的人其实就是为我们提供了一种可以利用先验概率计算后验概率的方法，我们将其称为“贝叶斯公式”。\n",
    "\n",
    "这里先了解**条件概率公式**：\n",
    "$$\n",
    "P\\left( B|A \\right)=\\frac{P\\left( AB \\right)}{P\\left( A \\right)} , P\\left( A|B \\right)=\\frac{P\\left( AB \\right)}{P\\left( B \\right)} \n",
    "$$  \n",
    "\n",
    "由条件概率可以得到**乘法公式**：  \n",
    "\n",
    "$$\n",
    "P\\left( AB \\right)=P\\left( B|A \\right)P\\left( A \\right)=P\\left( A|B \\right)P\\left( B \\right) \n",
    "$$  \n",
    "\n",
    "将条件概率公式和乘法公式结合可以得到：\n",
    "$$\n",
    "P\\left( B|A \\right)=\\frac{P\\left( A|B \\right)\\cdot P\\left( B \\right)}{P\\left( A \\right)} \n",
    "$$  \n",
    "\n",
    "再由**全概率公式**：\n",
    "$$\n",
    "P\\left( A \\right)=\\sum_{i=1}^{N}{P\\left( A|B_{i} \\right) \\cdot P\\left( B_{i}\\right)}  \n",
    "$$  \n",
    "\n",
    "代入可以得到**贝叶斯公式**：\n",
    "$$\n",
    "P\\left( B_{i}|A \\right)=\\frac{P\\left( A|B_{i} \\right)\\cdot P\\left( B_{i} \\right)}{\\sum_{i=1}^{N}{P\\left( A|B_{i} \\right) \\cdot P\\left( B_{i}\\right)} } \n",
    "$$  \n",
    "\n",
    "在这个例子里就是：\n",
    "\n",
    "$$\n",
    "\\begin{aligned} % requires amsmath; align* for no eq. number\n",
    "p(患病|显示阳性) & =\\frac{P(显示阳性|患病)P(患病)}{P(显示阳性)}\\\\\n",
    "                & =\\frac{P(显示阳性|患病)P(患病)}{P(显示阳性|患病)P(患病)+{P(显示阳性|无病)P(无病)}}\\\\\n",
    "                & =\\frac{95\\%*0.1\\%}{95\\%*0.1\\%+5\\%*99.9\\%}=1.86\\%\n",
    "\\end{aligned}\n",
    "$$\n",
    "\n",
    "贝叶斯公式贯穿了机器学习中随机问题分析的全过程。从文本分类到概率图模型，其基本分类都是贝叶斯公式。\n",
    "\n",
    "期望、方差、协方差等主要反映数据的统计特征，机器学习的一个很大应用就是数据挖掘等，因此这些基本的统计概念也是很有必要掌握。另外，像后面的EM算法中，就需要用到期望的相关概念和性质。\n",
    "\n",
    "\n",
    "#### 3.6 期望\n",
    "\n",
    "在概率论和统计学中，数学期望是试验中每次可能结果的概率乘以其结果的总和。它是最基本的数学特征之一，反映随机变量平均值的大小。\n",
    "\n",
    "假设X是一个离散随机变量，其可能的取值有：$\\left\\{ x_{1} ,x_{2} ,......,x_{n} \\right\\} $，各个取值对应的概率取值为：$P\\left( x_{k} \\right) , k=1,2,......,n$，则其数学期望被定义为：\n",
    "$$\n",
    "E\\left(X \\right) =\\sum_{k=1}^{n}{x_{k} P\\left( x_{k} \\right) } \n",
    "$$\n",
    "假设$X$是一个连续型随机变量，其概率密度函数为$P\\left( x \\right)$则其数学期望被定义为：\n",
    "$$\n",
    "E\\left( x \\right) =\\int_{-\\varpi }^{+\\varpi } xf\\left( x \\right) dx\n",
    "$$\n",
    "\n",
    "#### 3.7 方差 \n",
    "\n",
    "概率中，方差用来衡量随机变量与其数学期望之间的偏离程度；统计中的方差为样本方差，是各个样本数据分别与其平均数之差的平方和的平均数。数学表达式如下： \n",
    "$$\n",
    "Var\\left( x \\right) =E\\left\\{ \\left[ x-E\\left( x \\right) \\right] ^{2} \\right\\} =E\\left( x^{2} \\right) -\\left[ E\\left( x \\right) \\right] ^{2} \n",
    "$$\n",
    "\n",
    "#### 3.8 协方差\n",
    "\n",
    "在概率论和统计学中，协方差被用于衡量两个随机变量$X$和$Y$之间的总体误差。数学定义式为：\n",
    "$$\n",
    "Cov\\left( X,Y \\right) =E\\left[ \\left( X-E\\left[ X \\right] \\right) \\left( Y-E\\left[ Y \\right] \\right) \\right] =E\\left[ XY \\right] -E\\left[ X \\right] E\\left[ Y \\right] \n",
    "$$\n",
    "\n",
    "\n",
    "#### 3.9 常见分布函数\n",
    "\n",
    "#### 1）0-1分布\n",
    "\n",
    "$0-1$分布是单个二值型离散随机变量的分布，其概率分布函数为：  \n",
    "\n",
    "$$\n",
    "P\\left( X=1 \\right) =pP\\left( X=0 \\right) =1-p\n",
    "$$  \n",
    "\n",
    "#### 2）几何分布\n",
    "\n",
    "几何分布是离散型概率分布，其定义为：在n次伯努利试验中，试验k次才得到第一次成功的机率。即：前$k-1$次皆失败，第k次成功的概率。其概率分布函数为：\n",
    "$$\n",
    "P\\left( X=k \\right) =\\left( 1-p \\right) ^{k-1} p\n",
    "$$\n",
    "性质：\n",
    "$$\n",
    "E\\left( X \\right) =\\frac{1}{p} Var\\left( X \\right) =\\frac{1-p}{p^{2} } \n",
    "$$   \n",
    "\n",
    "#### 3）二项分布\n",
    "\n",
    "二项分布即重复n次伯努利试验，各次试验之间都相互独立，并且每次试验中只有两种可能的结果，而且这两种结果发生与否相互对立。如果每次试验时，事件发生的概率为p，不发生的概率为1-p，则n次重复独立试验中发生k次的概率为：   \n",
    "\n",
    "$$\n",
    "P\\left( X=k \\right) =C_{n}^{k} p^{k} \\left( 1-p \\right) ^{n-k} \n",
    "$$    \n",
    "\n",
    "性质：   \n",
    "\n",
    "$$\n",
    "E\\left( X \\right) =npVar\\left( X \\right) =np\\left( 1-p \\right) \n",
    "$$    \n",
    "\n",
    "#### 4）高斯分布\n",
    "\n",
    "高斯分布又叫正态分布，其曲线呈钟型，两头低，中间高，左右对称因其曲线呈钟形，如下图所示：(A这里少高斯分布图像)\n",
    "\n",
    "![](https://pic4.zhimg.com/80/v2-a0811acc8ab121a3ad8f2e37ff6c37cc_hd.jpg)\n",
    "\n",
    "\n",
    "若随机变量$X$服从一个数学期望为$\\mu$，方差为$\\sigma ^{2}$的正态分布，则我们将其记为：$N\\left( \\mu ,\\sigma^{2} \\right)$。其期望值$\\mu$决定了正态分布的位置，其标准差$\\sigma$（方差的开方）决定了正态分布的幅度。\n",
    "\n",
    "#### 5）指数分布\n",
    "\n",
    "指数分布是事件的时间间隔的概率，它的一个重要特征是无记忆性。例如：如果某一元件的寿命的寿命为T，已知元件使用了$t$小时，它总共使用至少$t+s$小时的条件概率，与从开始使用时算起它使用至少$s$小时的概率相等。下面这些都属于指数分布：\n",
    "\n",
    "* 婴儿出生的时间间隔\n",
    "* 网站访问的时间间隔\n",
    "* 奶粉销售的时间间隔    \n",
    "\n",
    "指数分布的公式可以从泊松分布推断出来。如果下一个婴儿要间隔时间$t$，就等同于$t$之内没有任何婴儿出生，即：   \n",
    "\n",
    "$$\n",
    "P\\left( X\\geq t \\right) =P\\left( N\\left( t \\right) =0 \\right) =\\frac{\\left( \\lambda t \\right) ^{0}\\cdot e^{-\\lambda t} }{0!}=e^{-\\lambda t} \n",
    "$$   \n",
    "\n",
    "则：   \n",
    "\n",
    "$$\n",
    "P\\left( X\\leq t \\right) =1-P\\left( X\\geq t \\right) =1-e^{-\\lambda t} \n",
    "$$   \n",
    "\n",
    "如：接下来15分钟，会有婴儿出生的概率为：\n",
    "$$\n",
    "P\\left( X\\leq \\frac{1}{4} \\right) =1-e^{-3\\cdot \\frac{1}{4} } \\approx 0.53\n",
    "$$\n",
    "指数分布的图像如下：\n",
    "\n",
    "![tu](./image/Ch00/指数分布.jpg)\n",
    "\n",
    "\n",
    "#### 6）泊松分布 \n",
    "\n",
    "日常生活中，大量事件是有固定频率的，比如：\n",
    "\n",
    "某医院平均每小时出生3个婴儿\n",
    "某网站平均每分钟有2次访问\n",
    "某超市平均每小时销售4包奶粉 \n",
    "它们的特点就是，我们可以预估这些事件的总数，但是没法知道具体的发生时间。已知平均每小时出生3个婴儿，请问下一个小时，会出生几个？有可能一下子出生6个，也有可能一个都不出生，这是我们没法知道的。\n",
    "\n",
    "泊松分布就是描述某段时间内，事件具体的发生概率。其概率函数为：   \n",
    "\n",
    "$$\n",
    "P\\left( N\\left( t \\right) =n \\right) =\\frac{\\left( \\lambda t \\right) ^{n}e^{-\\lambda t} }{n!}   \n",
    "$$\n",
    "\n",
    "其中：\n",
    "\n",
    "$P$表示概率，$N$表示某种函数关系，$t$表示时间，$n$表示数量，1小时内出生3个婴儿的概率，就表示为$P(N(1) = 3)$；$λ$表示事件的频率。\n",
    "\n",
    "还是以上面医院平均每小时出生3个婴儿为例，则$\\lambda =3$；\n",
    "\n",
    "那么，接下来两个小时，一个婴儿都不出生的概率可以求得为：   \n",
    "\n",
    "$$\n",
    "P\\left( N\\left(2 \\right) =0 \\right) =\\frac{\\left( 3\\cdot 2 \\right) ^{o} \\cdot e^{-3\\cdot 2} }{0!} \\approx 0.0025\n",
    "$$\n",
    "同理，我们可以求接下来一个小时，至少出生两个婴儿的概率：    \n",
    "\n",
    "$$\n",
    "P\\left( N\\left( 1 \\right) \\geq 2 \\right) =1-P\\left( N\\left( 1 \\right)=0 \\right) - P\\left( N\\left( 1 \\right)=1 \\right)\\approx 0.8\n",
    "$$\n",
    "【注】上面的指数分布和泊松分布参考了阮一峰大牛的博客：“泊松分布和指数分布：10分钟教程”，在此说明，也对其表示感谢！\n",
    "\n",
    "#### 3.10 Lagrange乘子法\n",
    "\n",
    "对于一般的求极值问题我们都知道，求导等于0就可以了。但是如果我们不但要求极值，还要求一个满足一定约束条件的极值，那么此时就可以构造Lagrange函数，其实就是把约束项添加到原函数上，然后对构造的新函数求导。\n",
    "\n",
    "对于一个要求极值的函数$f\\left( x,y \\right)$，图上的蓝圈就是这个函数的等高图，就是说$f\\left( x,y \\right) =c_{1} ,c_{2} ,...,c_{n}$分别代表不同的数值(每个值代表一圈，等高图)，我要找到一组$\\left( x,y \\right)$，使它的$c_{i}$值越大越好，但是这点必须满足约束条件$g\\left( x,y \\right)$（在黄线上）。\n",
    "\n",
    "![tu1](./image/Ch00/拉格朗日乘子法.jpg)\n",
    "\n",
    "也就是说$f(x,y)$和$g(x,y)$相切，或者说它们的梯度$\\nabla{f}$和$\\nabla{g}$平行，因此它们的梯度（偏导）成倍数关系；那我么就假设为$\\lambda $倍，然后把约束条件加到原函数后再对它求导，其实就等于满足了下图上的式子。\n",
    "\n",
    "在支持向量机模型（SVM）的推导中一步很关键的就是利用拉格朗日对偶性将原问题转化为对偶问题。\n",
    "\n",
    "#### 3-11、最大似然估计\n",
    "\n",
    "最大似然也称为最大概似估计，即：在“模型已定，参数$θ$未知”的情况下，通过观测数据估计未知参数θ 的一种思想或方法。\n",
    "\n",
    "**其基本思想是**：  给定样本取值后，该样本最有可能来自参数$\\theta$为何值的总体。即：寻找$\\tilde{\\theta } _{ML}$使得观测到样本数据的可能性最大。\n",
    "\n",
    "举个例子，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。由于没有足够的人力和物力去统计全国每个人的身高，但是可以通过采样（所有的采样要求都是独立同分布的），获取部分人的身高，然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。\n",
    "\n",
    "求极大似然函数估计值的一般步骤：\n",
    "\n",
    "1. 写出似然函数； \n",
    "$$\n",
    "L(\\theta_1,\\theta_2,\\dots,\\theta_n)=\n",
    "\\left \\{\n",
    "\\begin{array}{c}\n",
    "\\prod_{i=1}^{n}p(x_i;\\theta_1,\\theta_2,\\dots,\\theta_n)\\\\\n",
    "\\prod_{i=1}^{n}f(x_i;\\theta_1,\\theta_2,\\dots,\\theta_n)\n",
    "\\end{array}\n",
    "\\right.\n",
    "$$\n",
    "2. 对似然函数取对数；  \n",
    "3. 两边同时求导数；  \n",
    "4. 令导数为0解出似然方程。  \n",
    "\n",
    "\n",
    "在机器学习中也会经常见到极大似然的影子。比如后面的**逻辑斯特回归模型（LR）**，其核心就是构造对数损失函数后运用极大似然估计。\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "### 四、信息论\n",
    "\n",
    "信息论本来是通信中的概念，但是其核心思想“熵”在机器学习中也得到了广泛的应用。比如决策树模型$ID3$，$C4.5$中是利用**信息增益**来划分特征而生成一颗决策树的，而信息增益就是基于这里所说的**熵**。所以它的重要性也是可想而知。\n",
    "\n",
    "\n",
    "#### 4.1 熵\n",
    "\n",
    "如果一个随机变量X的可能取值为$X=\\left\\{ x_{1},x_{2} ,.....,x_{n} \\right\\}$，其概率分布为$P\\left( X=x_{i} \\right) =p_{i} ,i=1,2,.....,n$，则随机变量X的熵定义为$H(X)$：\n",
    "\n",
    "$$H\\left( X \\right) =-\\sum_{i=1}^{n}{P\\left( x_{i} \\right) logP\\left( x_{i} \\right) } =\\sum_{i=1}^{n}{P\\left( x_{i} \\right) \\frac{1}{logP\\left( x_{i} \\right) } } $$\n",
    "\n",
    "\n",
    "#### 4.2 联合熵\n",
    "\n",
    "两个随机变量X和Y的联合分布可以形成联合熵，定义为联合自信息的数学期望，它是二维随机变量XY的不确定性的度量，用$H(X,Y)$表示：\n",
    "\n",
    "$$H\\left( X,Y \\right) =-\\sum_{i=1}^{n}{\\sum_{j=1}^{n}{P\\left( x_{i} ,y_{j} \\right)} logP\\left( x_{i},y_{j} \\right) }$$\n",
    "\n",
    "#### 4.3 条件熵\n",
    "在随机变量$X$发生的前提下，随机变量$Y$发生新带来的熵，定义为$Y$的条件熵，用$H(Y|X)$表示：\n",
    "\n",
    "$$H\\left(Y|X \\right) =-\\sum_{x,y}^{}{P\\left( x,y \\right) logP\\left( y|x \\right) }$$ \n",
    "\n",
    "条件熵用来衡量在已知随机变量$X$的条件下，随机变量$Y$的不确定性。\n",
    "\n",
    "实际上，熵、联合熵和条件熵之间存在以下关系：\n",
    "\n",
    "$$H\\left( Y|X \\right) =H\\left( X,Y\\right) -H\\left( X \\right)$$ \n",
    "\n",
    "推导过程如下：  \n",
    "$$\n",
    "\\begin{array}{ll}\n",
    "H\\left( X,Y\\right) -H\\left( X \\right)\\\\\n",
    "\\ \\ \\ =-\\sum_{x,y}^{}{P(x,y)logP(x,y)}+\\sum_{x}p(x)log{p(x)}\\\\\n",
    "\\ \\ \\ =-\\sum_{x,y}^{}{P(x,y)logP(x,y)}+\\sum_{x}{(\\sum_{y}p(x,y))}log{p(x)}\\\\\n",
    "\\ \\ \\ =-\\sum_{x,y}^{}{P(x,y)logP(y|x)}+\\sum_{x,y}p(x,y)log{p(x)}\\\\\n",
    "\\ \\ \\ =-\\sum_{x,y}^{}{P(x,y)}log{\\frac{p(x,y)}{p(x)}}\\\\\n",
    "\\ \\ \\ =-\\sum_{x,y}^{}{P(x,y)}logp(y|x)\n",
    "\\end{array}\n",
    "$$\n",
    "\n",
    "其中：\n",
    "\n",
    "* 第二行推到第三行的依据是边缘分布$P(x)$等于联合分布$P(x,y)$的和；\n",
    "* 第三行推到第四行的依据是把公因子$logP(x)$乘进去，然后把$x$,$y$写在一起；\n",
    "* 第四行推到第五行的依据是：因为两个sigma都有$P(x,y)$，故提取公因子$P(x,y)$放到外边，然后把里边的$-（log P(x,y) - log P(x)）$写成$- log (P(x,y) / P(x) ) $；\n",
    "* 第五行推到第六行的依据是：$P(x,y) = P(x) * P(y|x)$，故$P(x,y) / P(x) =  P(y|x)$。   \n",
    "\n",
    "#### 4.4 相对熵\n",
    "\n",
    "相对熵又称互熵、交叉熵、$KL$散度、信息增益，是描述两个概率分布$P$和$Q$差异的一种方法，记为**$D(P||Q)$**。在信息论中，$D(P||Q)$表示当用概率分布$Q$来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，$Q$表示$P$的拟合分布。\n",
    "\n",
    "对于一个离散随机变量的两个概率分布$P$和$Q$来说，它们的相对熵定义为：\n",
    "$$\n",
    "D\\left( P||Q \\right) =\\sum_{i=1}^{n}{P\\left( x_{i} \\right) log\\frac{P\\left( x_{i} \\right) }{Q\\left( x_{i} \\right) } } \n",
    "$$\n",
    "注意：$D(P||Q) ≠ D(Q||P)$\n",
    "\n",
    "相对熵又称**$KL$散度($Kullback–Leibler divergence$)**，$KL$散度也是一个机器学习中常考的概念。\n",
    "\n",
    "#### 4.5 互信息\n",
    "\n",
    "两个随机变量X，Y的互信息定义为X，Y的联合分布和各自独立分布乘积的相对熵称为互信息，用I(X,Y)表示。互信息是信息论里一种有用的信息度量方式，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。  \n",
    "\n",
    "$$\n",
    "I\\left( X,Y \\right) =\\sum_{x\\in X}^{}{\\sum_{y\\in Y}^{}{P\\left( x,y \\right) } log\\frac{P\\left( x,y \\right) }{P\\left( x \\right) P\\left( y \\right) } } \n",
    "$$\n",
    "互信息、熵和条件熵之间存在以下关系：$ H\\left( Y|X \\right) =H\\left( Y \\right) -I\\left( X,Y \\right) $  \n",
    "\n",
    "推导过程如下：\n",
    "\n",
    "![tu3](./image/Ch00/推导过程.jpg)\n",
    "\n",
    "通过上面的计算过程发现有：$H(Y|X) = H(Y) - I(X,Y)$，又由前面条件熵的定义有：$H(Y|X) = H(X,Y) - H(X)$，于是有$I(X,Y)= H(X) + H(Y) - H(X,Y)$，此结论被多数文献作为互信息的定义。\n",
    "\n",
    "\n",
    "\n",
    "### 4-6、最大熵模型\n",
    "\n",
    "最大熵原理是概率模型学习的一个准则，它认为：学习概率模型时，在所有可能的概率分布中，熵最大的模型是最好的模型。通常用约束条件来确定模型的集合，所以，最大熵模型原理也可以表述为：在满足约束条件的模型集合中选取熵最大的模型。 \n",
    "\n",
    "前面我们知道，若随机变量X的概率分布是$P\\left( x_{i} \\right)$ ，则其熵定义如下：    \n",
    "\n",
    "$$\n",
    "H\\left( X \\right) =-\\sum_{i=1}^{n}{P\\left( x_{i} \\right) logP\\left( x_{i} \\right) } =\\sum_{i=1}^{n}{P\\left( x_{i} \\right) \\frac{1}{logP\\left( x_{i} \\right) } } \n",
    "$$\n",
    "熵满足下列不等式：\n",
    "$$\n",
    "0\\leq H\\left( X \\right) \\leq log\\left| X \\right| \n",
    "$$\n",
    "式中，$|X|$是$X$的取值个数，当且仅当$X$的分布是均匀分布时右边的等号成立。也就是说，当$X$服从均匀分布时，熵最大。\n",
    "\n",
    "直观地看，最大熵原理认为：要选择概率模型，首先必须满足已有的事实，即约束条件；在没有更多信息的情况下，那些不确定的部分都是“等可能的”。最大熵原理通过熵的最大化来表示等可能性；“等可能”不易操作，而熵则是一个可优化的指标。\n",
    "\n",
    "## 五、 数值计算  \n",
    "\n",
    "### 5.1 上溢和下溢\n",
    "在数字计算机上实现连续数学的基本困难是：我们需要通过有限数量的位模式来表示无限多的实数，这意味着我们在计算机中表示实数时几乎都会引入一些近似误差。在许多情况下，这仅仅是舍入误差。如果在理论上可行的算法没有被设计为最小化舍入误差的累积，可能会在实践中失效，因此舍入误差是有问题的，特别是在某些操作复合时。\n",
    "\n",
    "一种特别毁灭性的舍入误差是下溢。当接近零的数被四舍五入为零时发生下溢。许多函数会在其参数为零而不是一个很小的正数时才会表现出质的不同。例如，我们通常要避免被零除。\n",
    "\n",
    "另一个极具破坏力的数值错误形式是上溢(overflow)。当大量级的数被近似为\\varpi 或-\\varpi 时发生上溢。进一步的运算通常将这些无限值变为非数字。\n",
    "\n",
    "必须对上溢和下溢进行数值稳定的一个例子是softmax 函数。softmax 函数经常用于预测与$multinoulli$分布相关联的概率，定义为：\n",
    "\n",
    "![](https://pic2.zhimg.com/80/v2-7283f680255ba0da3a69f2df58b58ae0_hd.jpg)\n",
    "\n",
    "softmax 函数在多分类问题中非常常见。这个函数的作用就是使得在负无穷到0的区间趋向于0，在0到正无穷的区间趋向于1。上面表达式其实是多分类问题中计算某个样本 $x_{i} $的类别标签$ y_{i}$ 属于$K$个类别的概率，最后判别$ y_{i}$ 所属类别时就是将其归为对应概率最大的那一个。\n",
    "\n",
    "当式中的$w_{k} x_{i} +b$都是很小的负数时，$e^{w_{k} x_{i} +b }$ 就会发生下溢，这意味着上面函数的分母会变成0，导致结果是未定的；同理，当式中的$x_{w_{k} x_{i} +b} $是很大的正数时，$e^{w_{k} x_{i} +b }$ 就会发生上溢导致结果是未定的。\n",
    "\n",
    "### 5.2 计算复杂性与NP问题\n",
    "\n",
    "#### 1.算法复杂性\n",
    "\n",
    "现实中大多数问题都是离散的数据集，为了反映统计规律，有时数据量很大，而且多数目标函数都不能简单地求得解析解。这就带来一个问题：算法的复杂性。\n",
    "\n",
    "算法理论被认为是解决各类现实问题的方法论。衡量算法有两个重要的指标：时间复杂度和空间复杂度，这是对算法执行所需要的两类资源——时间和空间的估算。\n",
    "\n",
    "一般，衡量问题是否可解的重要指标是：该问题能否在多项式时间内求解，还是只能在指数时间内求解？在各类算法理论中，通常使用多项式时间算法即可解决的问题看作是易解问题，需要指数时间算法解决的问题看作是难解问题。\n",
    "\n",
    "指数时间算法的计算时间随着问题规模的增长而呈指数化上升，这类问题虽然有解，但并不适用于大规模问题。所以当前算法研究的一个重要任务就是将指数时间算法变换为多项式时间算法。\n",
    "\n",
    "#### 2.确定性和非确定性 \n",
    "\n",
    "除了问题规模与运算时间的比较，衡量一个算法还需要考虑确定性和非确定性的概念。\n",
    "\n",
    "这里先介绍一下“自动机”的概念。自动机实际上是指一种基于状态变化进行迭代的算法。在算法领域常把这类算法看作一个机器，比较知名的有图灵机、玻尔兹曼机、支持向量机等。\n",
    "\n",
    "所谓确定性，是指针对各种自动机模型，根据当时的状态和输入，若自动机的状态转移是唯一确定的，则称确定性；若在某一时刻自动机有多个状态可供选择，并尝试执行每个可选择的状态，则称为非确定性。\n",
    "\n",
    "换个说法就是：确定性是程序每次运行时产生下一步的结果是唯一的，因此返回的结果也是唯一的；非确定性是程序在每个运行时执行的路径是并行且随机的，所有路径都可能返回结果，也可能只有部分返回结果，也可能不返回结果，但是只要有一个路径返回结果，那么算法就结束。\n",
    "\n",
    "在求解优化问题时，非确定性算法可能会陷入局部最优。\n",
    "\n",
    "#### 3.NP问题\n",
    "\n",
    "有了时间上的衡量标准和状态转移的确定性与非确定性的概念，我们来定义一下问题的计算复杂度。\n",
    "\n",
    "P类问题就是能够以多项式时间的确定性算法来对问题进行判定或求解，实现它的算法在每个运行状态都是唯一的，最终一定能够确定一个唯一的结果——最优的结果。\n",
    "\n",
    "NP问题是指可以用多项式时间的非确定性算法来判定或求解，即这类问题求解的算法大多是非确定性的，但时间复杂度有可能是多项式级别的。\n",
    "\n",
    "但是，NP问题还要一个子类称为NP完全问题，它是NP问题中最难的问题，其中任何一个问题至今都没有找到多项式时间的算法。\n",
    "\n",
    "机器学习中多数算法都是针对NP问题（包括NP完全问题）的。\n",
    "\n",
    "\n",
    "\n",
    "### 5.3 数值计算\n",
    "\n",
    "上面已经分析了，大部分实际情况中，计算机其实都只能做一些近似的数值计算，而不可能找到一个完全精确的值，这其实有一门专门的学科来研究这个问题，这门学科就是——数值分析（有时也叫作“计算方法”）；运用数值分析解决问题的过程为：实际问题→数学模型→数值计算方法→程序设计→上机计算求出结果。\n",
    "\n",
    "计算机在做这些数值计算的过程中，经常会涉及到的一个东西就是“迭代运算”，即通过不停的迭代计算，逐渐逼近真实值（当然是要在误差收敛的情况下）。\n",
    "\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "## 六、最优化\n",
    "\n",
    "本节介绍机器学习中的一种重要理论——最优化方法。\n",
    "\n",
    "\n",
    "### 6.1 最优化理论\n",
    "\n",
    "无论做什么事，人们总希望以最小的代价取得最大的收益。在解决一些工程问题时，人们常会遇到多种因素交织在一起与决策目标相互影响的情况；这就促使人们创造一种新的数学理论来应对这一挑战，也因此，最早的优化方法——线性规划诞生了。\n",
    "\n",
    "在李航博士的《统计学习方法》中，其将机器学习总结为如下表达式：\n",
    "\n",
    "机器学习 = 模型 + 策略 + 算法\n",
    "\n",
    "可以看得出，算法在机器学习中的 重要性。实际上，这里的算法指的就是优化算法。在面试机器学习的岗位时，优化算法也是一个特别高频的问题，大家如果真的想学好机器学习，那还是需要重视起来的。\n",
    "\n",
    "\n",
    "### 6.2 最优化问题的数学描述    \n",
    "\n",
    "最优化的基本数学模型如下：\n",
    "\n",
    "\n",
    "![](https://pic3.zhimg.com/80/v2-f35226b3e0fa018db6a4b233c51eccbe_hd.jpg)\n",
    "\n",
    "\n",
    "它有三个基本要素，即：\n",
    "\n",
    "设计变量：$x$是一个实数域范围内的$n$维向量，被称为决策变量或问题的解；\n",
    "目标函数：$f(x)$为目标函数；\n",
    "约束条件：$h_{i} \\left( x \\right) =0$称为等式约束，$g_{i} \\left( x \\right) \\leq 0$为不等式约束，$i=0,1,2,......$\n",
    "\n",
    "\n",
    "### 6.3 凸集与凸集分离定理  \n",
    "\n",
    "#### 1.凸集 \n",
    "\n",
    "实数域R上（或复数C上）的向量空间中，如果集合S中任两点的连线上的点都在S内，则称集合S为凸集，如下图所示：\n",
    "\n",
    "![](https://pic1.zhimg.com/80/v2-608f89f47688c41e4c3f83cfad095c84_hd.jpg)\n",
    "\n",
    "\n",
    "数学定义为：\n",
    "\n",
    "设集合$D\\subset R^{n} $，若对于任意两点$x,y\\in D$，及实数$\\lambda \\left( 0\\leq \\lambda \\leq 1 \\right)$ 都有：   \n",
    "\n",
    "$$\n",
    "\\lambda x+\\left( 1-\\lambda \\right) y\\in D\n",
    "$$\n",
    "则称集合$D$为凸集。\n",
    "\n",
    "\n",
    "\n",
    "#### 2.超平面和半空间\n",
    "\n",
    "实际上，二维空间的超平面就是一条线（可以使曲线），三维空间的超平面就是一个面（可以是曲面）。其数学表达式如下：\n",
    "\n",
    "超平面：$H=\\left\\{ x\\in R^{n} |a_{1} +a_{2}+...+a_{n} =b \\right\\} $\n",
    "\n",
    "半空间：$H^{+} =\\left\\{ x\\in R^{n} |a_{1} +a_{2}+...+a_{n} \\geq b \\right\\} $ \n",
    "\n",
    "\n",
    "\n",
    "#### 3.凸集分离定理\n",
    "\n",
    "所谓两个凸集分离，直观地看是指两个凸集合没有交叉和重合的部分，因此可以用一张超平面将两者隔在两边，如下图所示：\n",
    "\n",
    "![](https://pic1.zhimg.com/80/v2-4116a3bda12faa5e2421ce27efb7fb71_hd.jpg)\n",
    "\n",
    "#### 4.凸函数 \n",
    "\n",
    "凸函数就是一个定义域在某个向量空间的凸子集C上的实值函数。\n",
    "\n",
    "![](https://pic2.zhimg.com/80/v2-f1b39d0aad4388433158679221f813d2_hd.jpg)\n",
    "\n",
    "数学定义为： \n",
    "\n",
    "对于函数$f(x)$，如果其定义域$C$是凸的，且对于$∀x,y∈C，0\\leq \\alpha \\leq 1$，\n",
    " 有：  \n",
    " \n",
    "$$\n",
    "f\\left( \\theta x+\\left( 1-\\theta \\right) y \\right) \\leq \\theta f\\left( x \\right) +\\left( 1-\\theta \\right) f\\left( y \\right) \n",
    "$$\n",
    "则$f(x)$是凸函数。\n",
    "\n",
    "注：如果一个函数是凸函数，则其局部最优点就是它的全局最优点。这个性质在机器学习算法优化中有很重要的应用，因为机器学习模型最后就是在求某个函数的全局最优点，一旦证明该函数（机器学习里面叫“损失函数”）是凸函数，那相当于我们只用求它的局部最优点了。\n",
    "\n",
    "\n",
    "### 6.4 梯度下降算法\n",
    "\n",
    "#### 1.引入  \n",
    "\n",
    "前面讲数值计算的时候提到过，计算机在运用迭代法做数值计算（比如求解某个方程组的解）时，只要误差能够收敛，计算机最后经过一定次数的迭代后是可以给出一个跟真实解很接近的结果的。\n",
    "\n",
    "这里进一步提出一个问题，如果我们得到的目标函数是非线性的情况下，按照哪个方向迭代求解误差的收敛速度会最快呢？\n",
    "\n",
    "答案就是沿梯度方向。这就引入了我们的梯度下降法。\n",
    "\n",
    "\n",
    "\n",
    "#### 2.梯度下降法\n",
    "\n",
    "在多元微分学中，梯度就是函数的导数方向。\n",
    "\n",
    "梯度法是求解无约束多元函数极值最早的数值方法，很多机器学习的常用算法都是以它作为算法框架，进行改进而导出更为复杂的优化方法。\n",
    "\n",
    "在求解目标函数f\\left( x \\right) 的最小值时，为求得目标函数的一个凸函数，在最优化方法中被表示为：\n",
    "$$\n",
    "minf\\left( x \\right) \n",
    "$$\n",
    "根据导数的定义，函数$f\\left( x \\right) $的导函数就是目标函数在$x$上的变化率。在多元的情况下，目标函数$f\\left( x,y,z \\right) $在某点的梯度$grad f\\left( x,y,z \\right) =\\left( \\frac{\\partial f}{\\partial x},\\frac{\\partial f}{\\partial y},\\frac{\\partial f}{\\partial z} \\right)$ 是一个由各个分量的偏导数构成的向量，负梯度方向是$f\\left( x,y,z \\right) $减小最快的方向。\n",
    "\n",
    "![](https://pic4.zhimg.com/80/v2-e61c38f10e34badf5b2c1f3b9c9bcfa0_hd.jpg)\n",
    "\n",
    "如上图所示，当需要求$f\\left( x \\right) $的最小值时（机器学习中的$f\\left( x \\right) $一般就是损失函数，而我们的目标就是希望损失函数最小化），我们就可以先任意选取一个函数的初始点$x_{0} $（三维情况就是$\\left( x_{0} ,y_{0} ,z_{0} \\right)$ ），让其沿着途中红色箭头（负梯度方向）走，依次到$x_{1} ，x_{2} ，...，x_{n} $（迭代n次）这样可最快达到极小值点。\n",
    "\n",
    "梯度下降法过程如下：\n",
    "\n",
    "输入：目标函数$f\\left( x \\right) $，梯度函数$g\\left( x \\right) =grad f\\left( x \\right) $，计算精度$\\varepsilon $\n",
    "\n",
    "输出：$f\\left( x \\right) 的极小值点x^{*} $\n",
    "\n",
    "1. 任取取初始值$x_{0}$ ，置$k=0$；\n",
    "2. 计算$f\\left( x_{k} \\right) $；\n",
    "3. 计算梯度$g_{k} =grad f\\left( x_{k} \\right) $，当$\\left| \\left| g_{k} \\right| \\right| <\\varepsilon $时停止迭代，令$x^{*} =x_{k}$ ；\n",
    "4. 否则令$P_{k} =-g_{k}$ ，求$\\lambda _{k} 使f\\left( x_{k+1} \\right) =minf\\left( x_{k} +\\lambda _{k} P_{k} \\right) $；\n",
    "5. 置$x_{k+1} =x_{k} +\\lambda _{k} P_{k} $，计算$f\\left( x_{k+1}\\right) $，当$\\left| \\left| f\\left( x_{k+1}\\right) -f\\left( x_{k}\\right) \\right| \\right| <\\varepsilon 或\\left| \\left| x_{k+1} -x_{k} \\right| \\right| <\\varepsilon $时，停止迭代，令$x^{*} =x_{k+1}  $；\n",
    "6. 否则，置$k=k+1$，转$3$。\n",
    "\n",
    "### 6.5 随机梯度下降算法\n",
    "上面可以看到，在梯度下降法的迭代中，除了梯度值本身的影响外，还有每一次取的步长\\lambda _{k} 也很关键：步长值取得越大，收敛速度就会越快，但是带来的可能后果就是容易越过函数的最优点，导致发散；步长取太小，算法的收敛速度又会明显降低。因此我们希望找到一种比较好的方法能够平衡步长。\n",
    "\n",
    "随机梯度下降法并没有新的算法理论，仅仅是引进了随机样本抽取方式，并提供了一种动态步长取值策略。目的就是又要优化精度，又要满足收敛速度。\n",
    "\n",
    "也就是说，上面的批量梯度下降法每次迭代时都会计算训练集中所有的数据，而随机梯度下降法每次迭代只是随机取了训练集中的一部分样本数据进行梯度计算，这样做最大的好处是可以避免有时候陷入局部极小值的情况（因为批量梯度下降法每次都使用全部数据，一旦到了某个局部极小值点可能就停止更新了；而随机梯度法由于每次都是随机取部分数据，所以就算局部极小值点，在下一步也还是可以跳出）\n",
    "\n",
    "两者的关系可以这样理解：随机梯度下降方法以损失很小的一部分精确度和增加一定数量的迭代次数为代价，换取了总体的优化效率的提升。增加的迭代次数远远小于样本的数量。\n",
    "\n",
    "### 6.6 牛顿法\n",
    "\n",
    "#### 1.牛顿法介绍\n",
    "\n",
    "牛顿法也是求解无约束最优化问题常用的方法，最大的优点是收敛速度快。\n",
    "\n",
    "从本质上去看，牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。通俗地说，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法 每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以， 可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "![](https://pic3.zhimg.com/80/v2-e22ea8c565434e945a17a80bec5630b6_hd.jpg)\n",
    "或者从几何上说，牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面，而梯度下降法是用一个平面去拟合当前的局部曲面，通常情况下，二次曲面的拟合会比平面更好，所以牛顿法选择的下降路径会更符合真实的最优下降路径。\n",
    "\n",
    "\n",
    "\n",
    "#### 2.牛顿法的推导\n",
    "\n",
    "将目标函数$f\\left( x \\right)  在x_{k}$ 处进行二阶泰勒展开，可得：   \n",
    "\n",
    "$$\n",
    "f\\left( x \\right) =f\\left( x_{k} \\right) +f^{'} \\left( x_{k} \\right) \\left( x-x_{k} \\right) +\\frac{1}{2} f^{''}\\left( x_{k} \\right) \\left( x-x_{k} \\right) ^{2} \n",
    "$$\n",
    "因为目标函数$f\\left( x \\right)$ 有极值的必要条件是在极值点处一阶导数为0，即：$f^{'} \\left( x \\right) =0 $\n",
    "\n",
    "所以对上面的展开式两边同时求导（注意$x$才是变量，$x_{k}$ 是常量$\\Rightarrow f^{'} \\left( x_{k} \\right) ,f^{''} \\left( x_{k} \\right)$ 都是常量），并令$f^{'} \\left( x \\right) =0$可得：  \n",
    "\n",
    "$$\n",
    "f^{'} \\left( x_{k} \\right) +f^{''} \\left( x_{k} \\right) \\left( x-x_{k} \\right) =0\n",
    "$$\n",
    "即：   \n",
    "$$\n",
    "x=x_{k} -\\frac{f^{'} \\left( x_{k} \\right) }{f^{''} \\left( x_{k} \\right) } \n",
    "$$\n",
    "于是可以构造如下的迭代公式：\n",
    "$$\n",
    "x_{k+1} =x_{k} -\\frac{f^{'} \\left( x_{k} \\right) }{f^{''} \\left( x_{k} \\right) } \n",
    "$$\n",
    "这样，我们就可以利用该迭代式依次产生的序列$\\left\\{x_{1},x_{2},...., x_{k} \\right\\} $才逐渐逼近$f\\left( x \\right)$ 的极小值点了。\n",
    "\n",
    "牛顿法的迭代示意图如下：\n",
    "\n",
    "\n",
    "![](https://pic1.zhimg.com/80/v2-e908f9721cc82415fa7e70c763351f3a_hd.jpg)\n",
    "\n",
    "上面讨论的是2维情况，高维情况的牛顿迭代公式是：\n",
    "\n",
    "\n",
    "式中，$ ▽f是f\\left( x \\right)$ 的梯度，即：\n",
    "\n",
    "![](https://pic4.zhimg.com/80/v2-71df54a8e32e172596dcaa07e6b31899_hd.jpg)\n",
    "\n",
    "\n",
    "H是Hessen矩阵，即：\n",
    "\n",
    "![](https://pic4.zhimg.com/80/v2-2891044fd02769c3148649e2a1a01fd5_hd.jpg)\n",
    "\n",
    "#### 3.牛顿法的过程\n",
    "\n",
    "1. 给定初值$x_{0} $和精度阈值$\\varepsilon $，并令$k=0$；\n",
    "2. 计算$x_{k} $和$H_{k}$ ；\n",
    "3. 若$\\left| \\left| g_{k} \\right| \\right| <\\varepsilon $则停止迭代；否则确定搜索方向：$d_{k} =-H_{k}^{-1} \\cdot g_{k}$ ；\n",
    "4. 计算新的迭代点：$x_{k+1} =x_{k} +d_{k} $；\n",
    "5. 令$k=k+1$，转至$2$。\n",
    "\n",
    "\n",
    "### 6.7 阻尼牛顿法\n",
    "\n",
    "#### 1.引入 \n",
    "\n",
    "注意到，牛顿法的迭代公式中没有步长因子，是定步长迭代。对于非二次型目标函数，有时候会出现$f\\left( x_{k+1} \\right) >f\\left( x_{k} \\right) $的情况，这表明，原始牛顿法不能保证函数值稳定的下降。在严重的情况下甚至会造成序列发散而导致计算失败。\n",
    "\n",
    "为消除这一弊病，人们又提出阻尼牛顿法。阻尼牛顿法每次迭代的方向仍然是$x_{k} $，但每次迭代会沿此方向做一维搜索，寻求最优的步长因子$\\lambda _{k}$ ，即：\n",
    "\n",
    "$\\lambda _{k} = minf\\left( x_{k} +\\lambda d_{k} \\right) $\n",
    "\n",
    "#### 2.算法过程\n",
    "\n",
    "1. 给定初值$x_{0}$ 和精度阈值$\\varepsilon$ ，并令$k=0$；\n",
    "2. 计算$g_{k} （f\\left( x \\right) $在$x_{k}$ 处的梯度值）和$H_{k} $；\n",
    "3. 若$\\left| \\left| g_{k} \\right| \\right| <\\varepsilon $则停止迭代；否则确定搜索方向：$d_{k} =-H_{k}^{-1} \\cdot g_{k}$ ；\n",
    "4. 利用$d_{k} =-H_{k}^{-1} \\cdot g_{k} 得到步长\\lambda _{k} $，并令$x_{k+1} =x_{k} +\\lambda _{k} d_{k}$  \n",
    "5. 令$k=k+1$，转至$2$。\n",
    "\n",
    "\n",
    "### 6.8 拟牛顿法\n",
    "\n",
    "#### 1.概述 \n",
    "\n",
    "由于牛顿法每一步都要求解目标函数的Hessen矩阵的逆矩阵，计算量比较大（求矩阵的逆运算量比较大），因此提出一种改进方法，即通过正定矩阵近似代替Hessen矩阵的逆矩阵，简化这一计算过程，改进后的方法称为拟牛顿法。\n",
    "\n",
    "\n",
    "\n",
    "#### 2.拟牛顿法的推导\n",
    "\n",
    "先将目标函数在$x_{k+1} $处展开，得到：  \n",
    "\n",
    "$$\n",
    "f\\left( x \\right) =f\\left( x_{k+1} \\right) +f^{'} \\left( x_{k+1} \\right) \\left( x-x_{k+1} \\right) +\\frac{1}{2} f^{''}\\left( x_{k+1} \\right) \\left( x-x_{k+1} \\right) ^{2} \n",
    "$$\n",
    "两边同时取梯度，得：  \n",
    "$$\n",
    "f^{'}\\left( x \\right) = f^{'} \\left( x_{k+1} \\right) +f^{''} \\left( x_{k+1} \\right) \\left( x-x_{k+1} \\right)\n",
    "$$\n",
    "取上式中的$x=x_{k}$ ，得：   \n",
    "$$\n",
    "f^{'}\\left( x_{k} \\right) = f^{'} \\left( x_{k+1} \\right) +f^{''} \\left( x_{k+1} \\right) \\left( x-x_{k+1} \\right)\n",
    "$$\n",
    "即：   \n",
    "$$\n",
    "g_{k+1} -g_{k} =H_{k+1} \\cdot \\left( x_{k+1} -x_{k} \\right) \n",
    "$$\n",
    "可得：  \n",
    "$$\n",
    "H_{k}^{-1} \\cdot \\left( g_{k+1} -g_{k} \\right) =x_{k+1} -x_{k} \n",
    "$$\n",
    "上面这个式子称为“拟牛顿条件”，由它来对$Hessen$矩阵做约束。\n",
    "\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.4"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": false,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": true,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}