[TD3] 4.1 Overestimation Bias in Actor-Critic

[HyeAnn-Lee]

rl-paper-review/reviews/TD3.md

Lines 97 to 103 in e838336

	1. 충분히 작은 error <img src="https://latex.codecogs.com/gif.latex?\epsilon_1" title="\epsilon_1" />이 존재(<img src="https://latex.codecogs.com/gif.latex?\alpha\ge\epsilon_1" title="\alpha\ge\epsilon_1" />)한다고 할 때, <img src="https://latex.codecogs.com/gif.latex?\pi_\text{approx}" title="\pi_\text{approx}" />의 approximate value는 <img src="https://latex.codecogs.com/gif.latex?\pi_\text{true}" title="\pi_\text{true}" /> approximate value보다 작거나 같다.
	<img src="../img/td3_14.png"/>
	2. 마찬가지로 충분히 작은 error <img src="https://latex.codecogs.com/gif.latex?\epsilon_2" title="\epsilon_2" />이 존재(<img src="https://latex.codecogs.com/gif.latex?\alpha\ge\epsilon_2" title="\alpha\ge\epsilon_2" />)한다고 할 때, <img src="https://latex.codecogs.com/gif.latex?\pi_\text{true}" title="\pi_\text{true}" />의 true value는 <img src="https://latex.codecogs.com/gif.latex?\pi_\text{approx}" title="\pi_\text{approx}" />의 true value보다 작거나 같다.
	<img src="../img/td3_15.png"/>

• 97줄: 논문에 "the approximate value of π_approx will be bounded below by the approximate value of π_true"라고 되어있으므로 해석을 "크거나 같다"라고 해야 할 것 같습니다. 그래야 식의 의미와도 일치한다고 생각합니다.
• 101줄: 마찬가지입니다.