4.2 ETF 전처리-input.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "t3V7lAmnBYko"
   },
   "source": [
    "[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/corazzon/finance-data-analysis/blob/main/4.2%20ETF%20%EC%A0%84%EC%B2%98%EB%A6%AC-input.ipynb)\n",
    "\n",
    "* [ETF : 네이버 금융](https://finance.naver.com/sise/etf.nhn) 에서 수집한 데이터를 전처리 합니다.\n",
    "* keyword\n",
    "    * rename column\n",
    "    * .map(lambda x : x)\n",
    "    * text data\n",
    "        * str.contains()\n",
    "        * str.replace()\n",
    "        * str.split(\"구분자\", expand=True)\n",
    "        * str[:]\n",
    "\n",
    "## 데이터 로드와 요약"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "sUwAAMjsBYko"
   },
   "outputs": [],
   "source": [
    "# 데이터 분석을 위한 pandas, 수치계산을 위한 numpy라이브러리를 로드합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 이전 실습에서 저장한 파일명을 file_name에 적어주세요.\n",
    "file_name = \"eft_2021-01-08_raw.csv\"\n",
    "file_name"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "cyivYjVFBYkp"
   },
   "outputs": [],
   "source": [
    "# 이전 수업에서 수집해서 저장해둔 csv 파일을 읽어옵니다.\n",
    "# itemcode 숫자 앞의 0 이 지워진다면 dtype={\"itemcode\": np.object} 로 타입을 지정해 주면 문자형태로 읽어옵니다.\n",
    "# df\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "VgCji4_wBYkp"
   },
   "outputs": [],
   "source": [
    "# 인덱스 번호 상단 5개의 데이터를 가져옵니다.\n",
    "# 데이터를 잘 읽어왔는지 확인합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "sFWU55-NBYkp"
   },
   "outputs": [],
   "source": [
    "# 인덱스 하단의 5개 데이터를 가져옵니다.\n",
    "# 데이터를 잘 읽어왔는지 확인합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "LxSJgh3rBYkq",
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# info를 통해서 각 column들의 데이터타입과 결측치, 메모리 사용량 등을 볼 수 있습니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* 웹사이트의 ETF 정보와 비교하며 어떤 컬럼이 어떤 값인지 확인합니다. \n",
    "* https://finance.naver.com/sise/etf.nhn "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "cdS2JB71BYkq"
   },
   "outputs": [],
   "source": [
    "# https://finance.naver.com/sise/etf.nhn 에서 값을 비교해보면 quant는 거래량임을 알 수 있습니다.\n",
    "# 거래량(quant) 기준으로 내림차순으로 정렬하여 상위 10개의 데이터를 봅니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "_65UmaWzBYkq"
   },
   "outputs": [],
   "source": [
    "# etfTabCode column의 데이터 구성을 살펴봅니다.\n",
    "# 추후 알게되겠지만 etfTabCode는 해당 사이트에서 \n",
    "# 전체(0), 국내 시장지수(1), 국내 업종/테마(2), 국내 파생(3) ~\n",
    "# 해외 주식(4), 원자재(5), 채권(6), 기타(7)로 자료가 구분되어 있습니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "k61c2Hr1BYkq"
   },
   "outputs": [],
   "source": [
    "# pandas 의 boolean Indexing을 사용해서\n",
    "# 국내 시장지수(etfTabCode == 1)의 데이터들만 확인하여 봅니다.\n",
    "# 조건문의 결과가 Index와  True, False 로 나오기 때문에 boolean Indexing 이라 부릅니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "SAp8CMEYNw8H"
   },
   "source": [
    "## 데이터 전처리\n",
    "### etfTabName 만들기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "8YTSMwXgBYkq"
   },
   "outputs": [],
   "source": [
    "# etf name을 구분하기 위한 list를 만듭니다.\n",
    "# \"\"\" 를 이용해 \\n을 포함하는 string을 만들고 split으로 나누어서 list를 간편히 만들수 있습니다.\n",
    "eftcode = \"\"\"전체\n",
    "국내 시장지수\n",
    "국내 업종/테마\n",
    "국내 파생\n",
    "해외 주식\n",
    "원자재\n",
    "채권\n",
    "기타\"\"\"\n",
    "eftcode"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "H7AFA9ftBYkq"
   },
   "outputs": [],
   "source": [
    "# split으로 나누어 list형 데이터를 만듭니다.\n",
    "# etf_tab_name\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# def find_eft_tab_name(no):\n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "LrmLD2j0BYkq"
   },
   "outputs": [],
   "source": [
    "# etfTabName 이름이 직관적이지 않기 때문에 한글로 변경해 줍니다.\n",
    "# map과 lambda 함수를 이용하여 eftTabCode column들의 각 cell의 내용에 따라\n",
    "# etf_tab_name list의 원소값에 따라 이름을 만들어 주고 etfTabName 이라는 새로운 컬럼을 생성합니다.\n",
    "# 즉 etfTabCode 숫자 -> list의 원소 인덱스로 한글 이름을 매핑해 줍니다. -> etfTabName에 한글로 저장\n",
    "# df[\"etfTabName\"]\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "ked6jOdgBYkq"
   },
   "outputs": [],
   "source": [
    "# etfTabName column이 제대로 만들어졌는지 확인합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* map : \n",
    "    * Series에서만 사용가능\n",
    "    * [Essential basic functionality — pandas documentation](https://pandas.pydata.org/docs/user_guide/basics.html?#applying-elementwise-functions)\n",
    "\n",
    "* apply :\n",
    "    * Series와 DataFrame 둘 다 사용가능\n",
    "    * [Essential basic functionality — pandas documentation](https://pandas.pydata.org/docs/user_guide/basics.html?#row-or-column-wise-function-application)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 컬럼명 변경하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"종목명\n",
    "현재가\n",
    "전일비\n",
    "등락률\n",
    "NAV\n",
    "3개월수익률\n",
    "거래량\n",
    "거래대금(백만)\n",
    "시가총액(억)\n",
    "\"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "hmI_1aqBBYkq"
   },
   "outputs": [],
   "source": [
    "# DataFrame df의 column 이름을 list로 만들어서 cols 라는 변수에 담습니다.\n",
    "# cols\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "1TF4kMp1BYkq"
   },
   "outputs": [],
   "source": [
    "# 영어로 되어있는 column 이름을 한글로 바꾸기 위한 list를 만듭니다.\n",
    "# 빠진 column이 있는지 리스트와 길이를 확인합니다.\n",
    "col_name = \"\"\"종목코드\n",
    "탭코드\n",
    "종목명\n",
    "현재가\n",
    "등락구분\n",
    "전일비\n",
    "등락률\n",
    "순자산가치(NAV)\n",
    "3개월수익률\n",
    "거래량\n",
    "거래대금(백만)\n",
    "시가총액(억)\n",
    "유형\"\"\"\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "3N22l3f6BYkr"
   },
   "outputs": [],
   "source": [
    "# 컬럼 영문명과 한글명을 딕셔너리 형태로 만들어 비교해 볼 수도 있습니다.\n",
    "# 하지만 좀 더 간단하게 여기에서는 리스트 값을 그대로 컬럼에 넣어주는 방법을 사용할거에요.\n",
    "# 딕셔너리로 키-값 쌍을 만들어 컬럼의 키와 값이 잘 매치되었는지 확인해 봅니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "ieQ9S3L-BYkr"
   },
   "outputs": [],
   "source": [
    "# 기존의 데이터프레임 컬럼명에 위에서 만든 컬럼명을 할당연산자로 대입해 주면 컬럼명이 변경됩니다.\n",
    "# 컬럼 변경 후 한글로 컬럼명이 잘 변경되었는지 확인해 봅니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 파생변수 만들기\n",
    "* 브랜드, 인버스, 레버리지, 환헤지H 변수 만들기\n",
    "* [Working with text data — pandas documentation](https://pandas.pydata.org/docs/user_guide/text.html)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "F-8P7v-3BYkr",
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# 종목명 column의 데이터를 space(\" \")를 이용해 나누고 제일 앞부분[0]을 새로운 column을 만들어 저장하고 확인합니다.\n",
    "# expand = True 옵션을 사용하면 문자열을 나눈 값을 인덱스 순서대로 가져와서 사용할 수 있습니다.\n",
    "# df[\"브랜드\"]\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "d0YQdJoABYkr"
   },
   "source": [
    "* 종목명 column의 내용중이 '인버스'라는 단어가 있으면 새로운 column '인버스'에 True 값이 들어가게 됩니다.\n",
    "* contains는 bool type을 반환하기 때문에 새로운 column에는 True나 False가 들어가게 됩니다.\n",
    "* 마찬가지로 '레버리지'와 '환헤지H'에 대해서도 동일하게 만들어 줍니다. \n",
    "* H라는 단어가 종목명에 들어갈 수도 있기 때문에 H뒤에 닫는 소괄호\")\"까지 확인합니다.\n",
    "* 소괄호는 정규표현식에서 의미를 가지는 문자이기 때문에 문자 그대로 읽어오기 위해서는 \"\\\"로 전처리가 필요합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "d0YQdJoABYkr"
   },
   "outputs": [],
   "source": [
    "# 인버스ETF는 지수가 하락하면 오히려 수익률이 오르도록 설계된 상품입니다.\n",
    "# df[\"인버스\"]\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "레버리지(leverage)는 타인의 자본을 지렛대처럼 이용하여 자기 자본의 이익률을 높이는 것이다. 고정비용이 있을 때 매출액의 변화가 기업의 손익에 미치는 영향을 분석하는 데에 쓰인다. 이는 고정영업비용과 고정재무비용의 부담정도에 따라 기업에게 귀속되는 최종적인 주당이익에 어떤 영향을 미치는지 분석할 수 있게 한다.\n",
    "\n",
    "* 출처 : [레버리지 - 위키백과, 우리 모두의 백과사전](https://ko.wikipedia.org/wiki/%EB%A0%88%EB%B2%84%EB%A6%AC%EC%A7%80)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "d0YQdJoABYkr"
   },
   "outputs": [],
   "source": [
    "# df[\"레버리지\"]\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "헤지(hedge)란 환율, 금리 또는 다른 자산에 대한 투자등을 통해 보유하고 있는 위험자산의 가격변동을 제거하는 것을 말한다. 즉, 확정되지 않은 자산을 확정된 자산으로 편입하는 과정이라 할 수 있으며, 주로 선물 옵션과 같은 파생상품을 이용한다. 이를 통해 체계적 위험을 제거할 수 있다.\n",
    "\n",
    "부(wealth)를 결정하는 변수값의 변화와 관계없이 항상 일정한 부를 유지하게 하는 헤지를 완전헤지라고 하고, 그렇지 못한 것을 불완전헤지라고 한다.\n",
    "* 출처 : [헤지 - 위키백과, 우리 모두의 백과사전](https://ko.wikipedia.org/wiki/%ED%97%A4%EC%A7%80)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "d0YQdJoABYkr"
   },
   "outputs": [],
   "source": [
    "# (H)의 의미는 환율변동 위험을 막기 위해 Hedge를 한다는 뜻입니다.\n",
    "# df[\"환헤지H\"]\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 전처리가 잘 되었는지 확인하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 등락구분에 있는 값의 빈도수를 세어봅니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "MCaYBOfYBYkr"
   },
   "outputs": [],
   "source": [
    "# 전체적으로 데이터 전처리가 끝났다면 info를 통해 데이터 요약정보 보기\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 파일로 저장하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 기존에 불러왔던 파일명에서 _raw를 제거하고 새로운 파일명으로 저장합니다.\n",
    "# save_file_name \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "WTKYc0eBBYkt"
   },
   "outputs": [],
   "source": [
    "# pandas의 to_csv로 파일을 저장합니다.\n",
    "# index=False로 인덱스값은 저장하지 않습니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 저장한 파일을 읽어와서 제대로 저장되었는지 확인합니다.\n",
    "# 또, 종목코드는 그냥 읽어오면 숫자 맨 앞의 0이 생략될 수 있으니 object 타입으로 불러옵니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "collapsed_sections": [],
   "name": "8. naver-etf-eda.ipynb",
   "provenance": [],
   "toc_visible": true
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.6"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {
    "height": "calc(100% - 180px)",
    "left": "10px",
    "top": "150px",
    "width": "202px"
   },
   "toc_section_display": true,
   "toc_window_display": true
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}