4 - Variables aleatorias.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "---\n",
    "\n",
    "### Universidad de Costa Rica\n",
    "#### IE0405 - Modelos Probabilísticos de Señales y Sistemas\n",
    "\n",
    "---\n",
    "\n",
    "# 4 - Variables aleatorias\n",
    "\n",
    "> Las variables aleatorias facilitan una manipulación numérica más robusta de los fenómenos aleatorios, y permiten extender el análisis a muchos más casos que los vistos hasta ahora. Herramientas como las funciones de densidad y de distribución acumulativa de probabilidad proveen descripciones completas de los modelos probabilísticos."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 4.1 - Datos continuos y no igualmente probables\n",
    "\n",
    "Ejemplo de mediciones de una variable física que tienen una \"distribución\" a lo largo de los valores posibles."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Importar y visualizar datos\n",
    "\n",
    "Introducir los histogramas."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "# Importar los datos\n",
    "mediciones = np.loadtxt('mediciones.csv')\n",
    "\n",
    "# Crear histograma de mediciones\n",
    "a,b,c = plt.hist(mediciones, 20)\n",
    "\n",
    "# Agregar información a la gráfica\n",
    "plt.title('Histograma de un conjunto de mediciones')\n",
    "plt.xlabel('Mediciones / m')\n",
    "plt.ylabel('Ocurrencias')\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Buscar un modelo para esa distribución\n",
    "\n",
    "Probando cuatro distribuciones usuales, buscamos el mejor ajuste."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 4.2 - Propiedades de la función de distribución acumulativa\n",
    "\n",
    "1. La probabilidad de que $X$ tenga un valor menor a $-\\infty$ es cero $$\\boxed{F_{X}(-\\infty) = 0}$$ Esto tiene relación con el hecho conocido de que $P(\\overline{S}) = 0$."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "2. La probabilidad de que $X$ tenga un valor menor a $+\\infty$ (dentro de la recta real) es uno $$\\boxed{F_{X}(\\infty) = 1}$$ Esto tiene relación con el hecho conocido de que $P(S) = 1$."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "3. $F_{X}(x) = P(X < x)$ es una probabilidad por sí misma, con valores acotados según el primer y segundo axioma de la probabilidad $$\\boxed{0 \\leq F_{X}(x) \\leq 1}$$ Esto tiene relación directa con las dos propiedades anteriores."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "4. $F_{X}(x)$ es una función no-decreciente de $x$ $$\\boxed{F_{X}(x_1) \\leq F_{X}(x_2) \\quad \\text{si} \\quad x_1 < x_2}$$ Esto es claro por el hecho de que la función es \"acumulativa\"."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "5. La probabilidad de que $X$ tenga valores más grandes que algún número $x_1$ pero que no exceda otro número $x_2$, es igual a la diferencia en $F_{X}(x)$ evaluada en tales puntos. $$\\boxed{P(x_1 < {X} \\leq x_2) = F_{X}(x_2) - F_{X}(x_1)}$$ \n",
    "\n",
    "**Nota**: Esta propiedad permite hacer cálculos numéricos de probabilidades a partir de la CDF."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "6. $F_{X}(x)$ tiene continuidad por la derecha $$\\boxed{F_{X}(x^{+}) = F_{X}(x)}$$ donde $x^{+}$ significa $x + \\epsilon$, y $\\epsilon > 0$ es infinitesimalmente pequeño; es decir, $\\epsilon \\rightarrow 0$. Esto es útil con variables aleatorias discretas."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 4.3 - Propiedades de la función de densidad de probabilidad\n",
    "\n",
    "1. La función $f_X(x)$ es siempre positiva $$\\boxed{f_{X}(x) \\geq 0 \\text{ para todo } x}$$ Esto a partir del primer axioma de la probabilidad. Por analogía con la densidad de masa: no existe masa negativa."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "2. El área bajo la curva es unitaria $$\\boxed{\\displaystyle\\int_{-\\infty}^{\\infty}f_{X}(x)~\\mathrm{d}x = 1}$$ A partir del segundo axioma de la probabilidad. Esta es una \"normalización\" necesaria para que una función sea una PDF."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "3. La probabilidad de la variable aleatoria en un intervalo es el área bajo la curva en ese intervalo $$\\boxed{\\displaystyle P\\{x_1 < {X} \\leq x_2\\} = \\int_{x_1}^{x_2}f_{X}(x)~\\mathrm{d}x}$$ Esto da origen a su nombre de \"densidad\". Más adelante, con variables aleatorias múltiples (en $N$ dimensiones), será \"el volumen bajo la superficie\", etc.\n",
    "\n",
    "**Nota**: Esta propiedad permite hacer cálculos numéricos de probabilidades a partir de la PDF."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### ¿Cuál opción es \"mejor\" para calcular probabilidades?\n",
    "\n",
    "* Si es \"a mano\", es claramente es mejor evaluar una función y restar que hacer una integral definida.\n",
    "* En el tiempo de ejecución en una computadora también hay diferencias."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "4. La función acumulativa se obtiene de la de densidad $$\\boxed{\\displaystyle F_{X}(x) = \\int_{-\\infty}^{x}f_{X}(\\xi)~\\mathrm{d}\\xi}$$ Esto a partir de la definición de la función de distribución acumulativa, $F_X(x) = P(X < x)$, y de la propiedad anterior."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 4.4. - Las cuatro distribuciones *famosas*\n",
    "\n",
    "Hay **muchas** distribuciones de probabilidad, derivadas de muchas aplicaciones en ciencia e ingeniería. Pero cuatro resaltan por su utilidad y reiteración."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 4.4.1. - Distribución uniforme\n",
    "\n",
    "#### Función de densidad de probabilidad\n",
    "\n",
    "$$\n",
    "f_{X}(x) = \n",
    "\\begin{cases}\n",
    "  \\displaystyle\\frac{1}{b-a} & a \\leq x \\leq b \\\\\n",
    "      0         & \\text{para otros valores de } x\n",
    "\\end{cases}\n",
    "$$\n",
    "\n",
    "#### Función de probabilidad acumulativa\n",
    "\n",
    "$$\n",
    "F_{X}(x) = \n",
    "\\begin{cases}\n",
    "  0 & x < a \\\\\n",
    "  \\displaystyle\\frac{(x -a)}{(b -a)} & \\; \\; a \\leq x < b \\\\\n",
    "  1 & b \\leq x\n",
    "\\end{cases}\n",
    "$$\n",
    "\n",
    "para constantes reales $-\\infty < a < \\infty$ y $b > a$.\n",
    "\n",
    "Cuando no se tiene mayor información sobre el comportamiento de los datos puede asumirse un comportamiento uniforme."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 4.4.2. - Distribución exponencial\n",
    "\n",
    "#### Función de densidad de probabilidad\n",
    "\n",
    "$$\n",
    "f_{X}(x) = \n",
    "\\begin{cases}\n",
    "\\frac{1}{b}\\exp\\left[ -\\left( \\frac{x-a}{b} \\right) \\right] & x > a \\\\\n",
    "0 & x < a\n",
    "\\end{cases}\n",
    "$$\n",
    "\n",
    "También es usual la notación\n",
    "\n",
    "$$\n",
    "f_{X}(x) = \n",
    "\\begin{cases}\n",
    "\\lambda e^{-\\lambda x} & x > 0 \\\\\n",
    "0 & x < 0\n",
    "\\end{cases}\n",
    "$$\n",
    "\n",
    "#### Función de probabilidad acumulativa\n",
    "\n",
    "$$\n",
    "F_{X}(x) = \n",
    "\\begin{cases}\n",
    "1 - \\exp\\left[ -\\left( \\frac{x-a}{b} \\right)\\right] & x > a \\\\\n",
    "0 & x < a\n",
    "\\end{cases}\n",
    "$$\n",
    "\n",
    "para números reales $-\\infty < a < \\infty$ y $b > 0$.\n",
    "\n",
    "Ocurre en problemas de **tiempo de espera** o en el cálculo de la **vida útil** de dispositivos."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 4.4.3. - Distribución de Rayleigh\n",
    "\n",
    "#### Función de densidad de probabilidad\n",
    "\n",
    "$$\n",
    "f_{X}(x) = \n",
    "\\begin{cases}\n",
    "\\frac{2}{b}(x - a)\\exp\\left[ -\\left( \\frac{(x-a)^2}{b} \\right) \\right] & x \\geq  a \\\\\n",
    "0 & x < a\n",
    "\\end{cases}\n",
    "$$\n",
    "\n",
    "También es usual la notación\n",
    "\n",
    "$$\n",
    "f_{X}(x) = \n",
    "{\\displaystyle {\\frac {x}{\\sigma^{2}}}e^{-x^{2}/\\left(2\\sigma ^{2}\\right)}}\n",
    "$$\n",
    "\n",
    "#### Función de probabilidad acumulativa\n",
    "\n",
    "$$\n",
    "F_{X}(x) = \n",
    "\\begin{cases}\n",
    "1 - \\exp\\left[ -\\left( \\frac{(x-a)^2}{b} \\right)\\right] & x \\geq  a \\\\\n",
    "0 & x < a\n",
    "\\end{cases}\n",
    "$$\n",
    "\n",
    "para constantes reales $-\\infty < a < \\infty$ y $b > 0$.\n",
    "\n",
    "Aparece en errores de aterrizaje de cohetes, fluctuaciones aleatorias de la envolvente de ciertas formas de onda, la distribución radial de los errores en un tablero de dardos, o los tiempos de llegada de las señales de múltiples trayectorias en transmisión inalámbrica."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 4.4.4. - Distribución normal (gaussiana)\n",
    "\n",
    "#### Función de densidad de probabilidad\n",
    "\n",
    "$$\n",
    "f_{X}(x) = \n",
    "{\\displaystyle {\\frac {1}{\\sigma {\\sqrt {2\\pi }}}}e^{-{\\frac {1}{2}}\\left({\\frac {x-\\mu }{\\sigma }}\\right)^{2}}}\n",
    "$$\n",
    "\n",
    "#### Función de probabilidad acumulativa\n",
    "\n",
    "$$\n",
    "F_{X}(x) = \n",
    "{\\displaystyle {\\frac {1}{2}}\\left[1+\\operatorname {erf} \\left({\\frac {x-\\mu }{\\sigma {\\sqrt {2}}}}\\right)\\right]}\n",
    "$$\n",
    "\n",
    "donde $\\sigma_X > 0$ y $-\\infty < \\mu_X < \\infty$ son constantes reales, conocidas como:\n",
    "\n",
    "* $\\sigma_X$: desviación estándar \n",
    "* $\\mu_X$: media\n",
    "\n",
    "También tiene la notación alternativa\n",
    "\n",
    "$$\n",
    "X : \\mathcal{N}(\\mu,\\sigma^2) \\quad \\text{o} \\quad X \\sim \\mathcal{N}(\\mu,\\sigma^2)\n",
    "$$\n",
    "\n",
    "Aparece en el ruido térmico que afecta a la electrónica y en cierto tipo de interferencia que posa un canal inalámbrico sobre las comunicaciones. Además de innumerables otros fenómenos físicos, económicos y sociales, algo que quizá se explicará con el *teorema del límite central*, más adelante."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### ¿Cómo identificar estas distribuciones?\n",
    "\n",
    "Es necesario observar:\n",
    "\n",
    "* El **soporte** que tienen (infinito, semi-infinito, finito)\n",
    "* La **simetría** que tienen\n",
    "* La **monotonicidad** que tienen\n",
    "\n",
    "#### Desarrollar el \"ojo clínico\"\n",
    "\n",
    "¿Cuál es cuál en las siguientes distribuciones?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "# Cargar datos aleatorios\n",
    "A = np.loadtxt('datosA.csv')\n",
    "B = np.loadtxt('datosB.csv')\n",
    "C = np.loadtxt('datosC.csv')\n",
    "D = np.loadtxt('datosD.csv')\n",
    "\n",
    "# Crear múltiples gráficos\n",
    "fig, ejes = plt.subplots(2, 2)\n",
    "\n",
    "# Graficar cada conjunto de datos\n",
    "ejes[0][0].hist(A, 20, density=True)\n",
    "ejes[0][1].hist(B, 20, density=True)\n",
    "ejes[1][0].hist(C, 20, density=True)\n",
    "ejes[1][1].hist(D, 20, density=True)\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "---\n",
    "\n",
    "**Universidad de Costa Rica**\n",
    "\n",
    "Facultad de Ingeniería\n",
    "\n",
    "Escuela de Ingeniería Eléctrica\n",
    "\n",
    "---"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}