kfs2d_rna_notebook.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "kernel": "SoS"
   },
   "source": [
    "# Exemplo de como obter a RNA para emular FK no problema de Shalow Water 2D"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Baixa o código KFS2d_rna (shallow water assimilado por FK e RNA) a partir do repositório espelho do github\n",
    "!git clone https://github.com/robertopsouto/kfs2d_rna_mirror.git"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Entra no diretório principal do código de shalow water\n",
    "%cd kfs2d_rna_mirror"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Compilando o código\n",
    "!make"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Roda o shell script que chama o executável compilado na célula anterior\n",
    "# Usa filtro de Kalman para fazer a assimilação de dados a cada 10 passos no tempo.\n",
    "# O ruído no dado de observação é de 10%\n",
    "# Uso:\n",
    "# ./run-KFS2d.sh assimType gridX gridY timeStep freqObsT freqObsX freqObsY percNoise neuronNumber\n",
    "\n",
    "!./run-KFS2d.sh 1 10 10 100 10 2 2 0.1 10"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Indo para o diretório com o dados que serão usados para treinar a RNA, por meio do MPCA\n",
    "%cd output/training/"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "kernel": "SoS"
   },
   "source": [
    "## Script `Octave` que normaliza os valores do modelo, da observação e da análise (obtida com a assimilação de dados). São gerados os arquivos de treinamento (`x.txt` e `y.txt`) de validação cruzada (`x_valid.txt` e `y_valid.txt`) e de generalização (`x_gen.txt` e `y_gen.txt`), que serão os dados de entrada para o `MPCA-ANN`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "Octave"
   },
   "outputs": [],
   "source": [
    "%--------------------------------------------------------------------------\n",
    "% programa para normalizar os valores da variavel para usar no treinamento da RNA/MPCA\n",
    "%--------------------------------------------------------------------------\n",
    "clear all;\n",
    "close all; clc;\n",
    "%-----------------------\n",
    "%leitura dos dados\n",
    "%-----------------------\n",
    "qM = load('qModelExpA.out');\n",
    "qO = load('qObservExpA.out');\n",
    "qA = load('qAnalysisExpA.out');\n",
    "\n",
    "valNormInf=-1.0;\n",
    "valNormSup=+1.0;\n",
    "\n",
    "qM_norm=(max(qM)*valNormInf-min(qM)*valNormSup+qM*(valNormSup-valNormInf))/(max(qM)-min(qM));\n",
    "qO_norm=(max(qO)*valNormInf-min(qO)*valNormSup+qO*(valNormSup-valNormInf))/(max(qO)-min(qO));\n",
    "qA_norm=(max(qA)*valNormInf-min(qA)*valNormSup+qA*(valNormSup-valNormInf))/(max(qA)-min(qA));\n",
    "\n",
    "[l,n]=size(qM);\n",
    "pontos_por_ciclo=25;\n",
    "ciclos=n/pontos_por_ciclo;\n",
    "\n",
    "parc1 = floor(0.60*ciclos)*pontos_por_ciclo;\n",
    "parc2 = ceil(0.10*ciclos)*pontos_por_ciclo;\n",
    "parc3 = n - parc1 - parc2;\n",
    "\n",
    "train_range=parc1;\n",
    "valid_init=train_range+1;\n",
    "valid_end=train_range+parc2;\n",
    "gen_init=valid_end+1;\n",
    "gen_end=valid_end+parc3;;\n",
    "\n",
    "fileID = fopen('x.txt','w');\n",
    "fprintf(fileID,'      %8.5f',qM_norm(1:train_range));\n",
    "fprintf(fileID,'\\n');\n",
    "fclose(fileID);\n",
    "fileID = fopen('x.txt','a');\n",
    "fprintf(fileID,'      %8.5f',qO_norm(1:train_range));\n",
    "fprintf(fileID,'\\n');\n",
    "fclose(fileID);\n",
    "fileID = fopen('y.txt','w');\n",
    "fprintf(fileID,'      %8.5f',qA_norm(1:train_range));\n",
    "fprintf(fileID,'\\n');\n",
    "fclose(fileID);\n",
    "\n",
    "fileID = fopen('x_valid.txt','w');\n",
    "fprintf(fileID,'      %8.5f',qM_norm(valid_init:valid_end));\n",
    "fprintf(fileID,'\\n');\n",
    "fclose(fileID);\n",
    "fileID = fopen('x_valid.txt','a');\n",
    "fprintf(fileID,'      %8.5f',qO_norm(valid_init:valid_end));\n",
    "fprintf(fileID,'\\n');\n",
    "fclose(fileID);\n",
    "fileID = fopen('y_valid.txt','w');\n",
    "fprintf(fileID,'      %8.5f',qA_norm(valid_init:valid_end));\n",
    "fprintf(fileID,'\\n');\n",
    "fclose(fileID);\n",
    "\n",
    "fileID = fopen('x_gen.txt','w');\n",
    "fprintf(fileID,'      %8.5f',qM_norm(gen_init:gen_end));\n",
    "fprintf(fileID,'\\n');\n",
    "fclose(fileID);\n",
    "fileID = fopen('x_gen.txt','a');\n",
    "fprintf(fileID,'      %8.5f',qO_norm(gen_init:gen_end));\n",
    "fprintf(fileID,'\\n');\n",
    "fclose(fileID);\n",
    "fileID = fopen('y_gen.txt','w');\n",
    "fprintf(fileID,'      %8.5f',qA_norm(gen_init:gen_end));\n",
    "fprintf(fileID,'\\n');\n",
    "fclose(fileID);\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "Octave"
   },
   "outputs": [],
   "source": [
    "parc1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "Octave"
   },
   "outputs": [],
   "source": [
    "parc2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "Octave"
   },
   "outputs": [],
   "source": [
    "parc3"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "!ls -ltr"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "%cd ../../../"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Baixa o código do mpac-ann do repositório github\n",
    "!git clone https://github.com/scsr-inpe/mpca-ann.git"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Entra no diretório principal do código\n",
    "%cd mpca-ann"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Alterna para um commit específico\n",
    "!git checkout a52ad36"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Remove os arquivos pré-compilados que são baixados\n",
    "!make clean"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Compila o código \n",
    "!make"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Copia os arquivos de treinamento, de validação cruzada e de generalização gerados anteriormente no k, para o diretório 'data' do mpca-ann\n",
    "!cp ../kfs2d_rna_mirror/output/training/*.txt data/"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Entra no diretório config, para editar os arquivos de configuração do mpca-ann\n",
    "%cd config/"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Edita o arquivo original configuration.ini tal que:\n",
    "#    NCLASSES seja igual ao número de pontos de treinamento em x.txt e y.txt (dado pela variável parc1) \n",
    "#    NCLASSESVALIDATION seja igual ao número de pontos de validação em x_valid.txt e y_valid.txt (dado pela variável parc2)\n",
    "#    UPPER_HIDDEN_LAYERS=1 seja igual a LOW_HIDDEN_LAYERS=1, para forçar que a arquitetura da rede tenha somente uma camada\n",
    "#    LOWER_FIRST_HIDDEN_LAYER=UPPER_FIRST_HIDDEN_LAYER=10, para forçar que esta camana tenha exatamente 10 neurônios\n",
    "#    LOWER_ACTIVATION_FUNCTION=UPPER_ACTIVATION_FUNCTION=2, para forçar que se use com função de ativação a tangente hiperbólica\n",
    "\n",
    "!sed -i -e 's/NCLASSES=2000/NCLASSES=150/g' \\\n",
    "        -e 's/NCLASSESVALIDATION=600/NCLASSESVALIDATION=25/g' \\\n",
    "        -e 's/UPPER_HIDDEN_LAYERS=2/UPPER_HIDDEN_LAYERS=1/g' \\\n",
    "        -e 's/LOWER_FIRST_HIDDEN_LAYER=5/LOWER_FIRST_HIDDEN_LAYER=10/g' \\\n",
    "        -e 's/UPPER_FIRST_HIDDEN_LAYER=25/UPPER_FIRST_HIDDEN_LAYER=10/g' \\\n",
    "        -e 's/LOWER_ACTIVATION_FUNCTION=1/LOWER_ACTIVATION_FUNCTION=2/g' \\\n",
    "        -e 's/UPPER_ACTIVATION_FUNCTION=3/UPPER_ACTIVATION_FUNCTION=2/g' \\\n",
    "        configuration.ini"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Edita o arquivo original annConfig.ini, \n",
    "# para que o número de classes seja igual ao número de pontos generalização em x_gen.txt e y_gen.txt\n",
    "\n",
    "!sed -i -e 's/600/75/g' annConfig.in"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Retorna para o diretório do script MPCA-ANN\n",
    "\n",
    "%cd .."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Roda e script com 1 Experimento, usando 4 Processos MPI\n",
    "\n",
    "!./runMPCA 1 4"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Roda esta etapa para obter a solução que possui o menor valor da função objetivo com relação aos dados de generalização\n",
    "\n",
    "!./annMLP 1 4"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Copia o arquivo ann#.best, relativo ao experimento que obteve no menor erro na etapa de generalização, para o diretório data\n",
    "\n",
    "!cp output/ann1.best ../kfs2d_rna_mirror/data/ann.best"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Entra no diretório data\n",
    "\n",
    "%cd ../kfs2d_rna_mirror/data/"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Roda o shell script que extrai a informação dos pesos e vies do arquivo ann.best\n",
    "# São gerados 4 arquivos: wqcsExpA.dat  wqcoExpA.dat  bqcsExpA.dat  bqcoExpA.dat\n",
    "# Estes 4 arquivos serão lidos pelo kfs2d, para emular o FK por RNA \n",
    "\n",
    "!./pesos_vies.sh ann.best"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "!ls -ltr"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "%cd ../"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Roda o shell script que chama o executável compilado na célula anterior\n",
    "# Usa RNA para emular FK na assimilação de dados, a cada 10 passos no tempo.\n",
    "# Uso:\n",
    "# ./run-KFS2d.sh assimType gridX gridY timeStep freqObsT freqObsX freqObsY percNoise neuronNumber\n",
    "\n",
    "!./run-KFS2d.sh 2 10 10 100 10 2 2 0.1 10"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "# Entra no diretório onde o resultado da análise obtido com a assimilação por RNA está salvo\n",
    "\n",
    "%cd output/full/"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "kernel": "SoS"
   },
   "source": [
    "## Script `Octave` que gera figura comparando as curvas do modelo (verdade), da análise obtida por assimilação com filtro de Kalman (FK), e também da análise obtida por assimilação com rede neural emulando filtro de Kalman (RNA)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "Octave"
   },
   "outputs": [],
   "source": [
    "%--------------------------------------------------------------------------\n",
    "% programa para plotar os graficos\n",
    "%--------------------------------------------------------------------------\n",
    "clear all;\n",
    "close all; clc;\n",
    "%-----------------------\n",
    "%leitura dos dados\n",
    "%-----------------------\n",
    "qm = load('qModelExpA.out');\n",
    "qa = load('qAnalysisExpA.out');\n",
    "% dado da rede\n",
    "qar = load('qAnalysisExpA_RNA.out');\n",
    "%\n",
    "ni = 10;\n",
    "nj = ni;\n",
    "nk = 100;\n",
    "%\n",
    "ninj = ni*nj;\n",
    "p = 7; % ponto\n",
    "%\n",
    "% dado do modelo\n",
    "qm3D = reshape(qm,ni,nj,nk);\n",
    "qpm10 = qm3D(p,p,:);\n",
    "qpm10v = qpm10(:);\n",
    "%\n",
    "%valor estimado pelo Filtro de Kalman\n",
    "qafk3D = reshape(qa,ni,nj,nk);\n",
    "qpa10 = qafk3D(p,p,:);\n",
    "qpa10v = qpa10(:);\n",
    "%\n",
    "%estimado pela Rede Neural\n",
    " qr3D = reshape(qar,ni,nj,nk);\n",
    " qpr10 = qr3D(p,p,:);\n",
    " qpr10v = qpr10(:);\n",
    "%\n",
    "figure(1)\n",
    "plot(qpm10v,'b','linewidth',1.5); hold on;\n",
    "plot(qpa10v,'r','linewidth',1.5);\n",
    "plot(qpr10v,'g','linewidth',1.5);\n",
    "title('variavel q'); grid on;\n",
    "xlabel('tempo');\n",
    "ylabel('q(7,7)');\n",
    "legend('verdade','FK','RNA')\n",
    "axis([1 100 -60 80])\n",
    "%print -depsc variavelqExpA.eps;\n",
    "print -dpng -r240 variavelqExpA.png;"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": [
    "!ls -ltr"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "kernel": "SoS"
   },
   "source": [
    "![Variavel q](kfs2d_rna_mirror/output/full/variavelqExpA.png)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "kernel": "SoS"
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "SoS",
   "language": "sos",
   "name": "sos"
  },
  "language_info": {
   "codemirror_mode": "sos",
   "file_extension": ".sos",
   "mimetype": "text/x-sos",
   "name": "sos",
   "nbconvert_exporter": "sos_notebook.converter.SoS_Exporter",
   "pygments_lexer": "sos"
  },
  "sos": {
   "kernels": [
    [
     "Octave",
     "octave",
     "Octave",
     "#dff8fb",
     ""
    ],
    [
     "SoS",
     "sos",
     "",
     "",
     "sos"
    ]
   ],
   "panel": {
    "displayed": false,
    "height": 0
   },
   "version": "0.22.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}