Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

【第8章集成学习】待推导或待解析公式征集+答疑专区 #67

Open
Sm1les opened this issue Jul 25, 2019 · 50 comments
Open

Comments

@Sm1les
Copy link
Contributor

Sm1les commented Jul 25, 2019

在这里,你可以:
1.评论留下西瓜书第8章你觉得需要补充推导细节或者解析的公式编号,我们看到后会尽快进行补充;
2.评论留下你对南瓜书第8章里相关内容的疑问,我们看到后会尽快进行答疑。

@feng-1985
Copy link

从(8.28)过渡到(8.31)

@Ye980226
Copy link
Contributor

从(8.28)过渡到(8.31)

同学您好,(8.29)的式子减去(8.30)的的式子,是等于(h_i(x)-H(x))^2的,也就能得到(8.31)的式子,可以类比回归中的TSS,ESS,RSS(Total,Explain,Residual)

@johnmaster
Copy link

@Sm1les (8.15)十分感谢!^_^

@Sm1les
Copy link
Contributor Author

Sm1les commented Aug 24, 2019

@johnmaster 同学你好,(8.15)是一个定义式来的,对于这种定义式通常只需知道就好,可以不必深究,你是希望我们补充哪方面的内容呢?

@johnmaster
Copy link

懂了,我自己看了一会,就看明白了。不好意思,打扰你了!不过十分感谢你的回复!

@ChineseTaoist
Copy link

8.12中为什么f2(x) = ht2(x) = 1啊,怎么推出8.13的啊

@johnmaster
Copy link

@ChineseTaoist 这俩的值都属于{-1,+1}。

@superraincc
Copy link

还是不太理解(8.31),为什么只有一半的加权,可以麻烦写一下过程吗

@Ye980226
Copy link
Contributor

@superraincc 其实是都有加权的,只是后面那一项是一个常数,\sum_{i=0}^T wi*E(H|x)=E(H|x)

@superraincc
Copy link

@superraincc 其实是都有加权的,只是后面那一项是一个常数,\sum_{i=0}^T wi*E(H|x)=E(H|x)

啊明白了,谢谢!

@mxl1990
Copy link

mxl1990 commented Sep 23, 2019

还是不明白,式8.29与8.30相减,a^2-b^2不是=(a-b)(a+b),也就是(H(x)-hi(x))(2f(x)-hi(x)-H(x))吗,跟8.31的形式还是不同吧

@demolpc
Copy link

demolpc commented Sep 25, 2019

我认为对l_{exp}(H|D)的解释不对,这个式子就是对x的分布求期望,结果应该是不包含x的。只不过它的最小化可以通过对x逐点最小化来达到。
ps:我认为书中有的地方就是不太严谨,没必要强行去解释。

@Ye980226
Copy link
Contributor

c60e3d9b09d303e3e60116531dead3e
@mxl1990 同学你好,最近比较忙,不好意思,你看下这个能理解不

@Ye980226
Copy link
Contributor

@demolpc 同学,我觉得这里含了x只是中间的计算式,并不是最终结果

@demolpc
Copy link

demolpc commented Sep 25, 2019

@Ye980226 对啊,求期望后l_{exp}(H|D)是一个和x无关的值,但是网页中l_{exp}(H|D)得到的却是和一个具体的x有关。

@mxl1990
Copy link

mxl1990 commented Sep 25, 2019

c60e3d9b09d303e3e60116531dead3e
@mxl1990 同学你好,最近比较忙,不好意思,你看下这个能理解不

ok,辛苦啦,我已经看懂了,还要加上条件\[H(x) = \sum\limits_{i = 1}^T {{w_i}{h_i}(x)} \]以及
\[\sum\limits_{i = 1}^T {{w_i}} = 1\]

@Ye980226
Copy link
Contributor

@demolpc 是的,如果H(x),f(x)都确定的话,应该是个确定的式子,但是这里H(x)相当于自变量了,并不确定,所以它后面是对H(x)求了偏导

@ghost
Copy link

ghost commented Oct 11, 2019

为什么8.12式求期望时ht没有加权重系数呢αt?

@Ye980226
Copy link
Contributor

@HAI-U 同学,来迟了,抱歉 ̄□ ̄||你可以8.12上面说了一句话,理想的h_t可以纠正H_{t-1}的全部错误,所以不加权重系数。我认为如果权重系数α_t不随着x的变化而变化是个常数的话,对8.14的式子没有影响。

@yanglei-github
Copy link

批注 2019-10-29 173108
关于8.5,期望求解应该要对x求和吧,感觉第二个等式少了求和符号,但是如果有求和符号,后面对H求导结果就多了一个求和符号?

@Ye980226
Copy link
Contributor

Ye980226 commented Nov 9, 2019

@yanglei-github 事件{f(x)=1}和{f(x)=-1}已经是完备事件组了,求期望是 权重(概率)*值,然后P(f(x)=1|x)是概率,e^(-H(x)f(x))为值,又知道f(x)=1,那么值就是e^(-H(x)),然后把P(f(x)=-1|x)也加上就出现了上述式子

@ghost
Copy link

ghost commented Nov 19, 2019

请问8.17式中2后面的两个竖线的数学意义是什么呢?没有看到这种表示呢

@Sm1les
Copy link
Contributor Author

Sm1les commented Nov 21, 2019

@HAI-U 同学你好,这是指示函数,具体定义参见第1章的公式1.1

@yanglei-github
Copy link

yanglei-github commented Dec 18, 2019 via email

@Sm1les
Copy link
Contributor Author

Sm1les commented Dec 19, 2019

@yanglei-github 同学你好,你是想给我们的项目提交相关内容是吗?

@yanglei-github
Copy link

yanglei-github commented Dec 19, 2019 via email

@yanglei-github
Copy link

yanglei-github commented Dec 19, 2019 via email

@Sm1les
Copy link
Contributor Author

Sm1les commented Dec 20, 2019

@yanglei-github 好的,非常欢迎,我的邮箱是sm1les@qq.com :)

@yudayuta
Copy link

yudayuta commented Jan 9, 2020

请问公式8-9这一步怎么得到呐?
image

@archwalker
Copy link
Member

@yudayuta 你好, e^{-f(x)\alpha_t h_t(x)} = e^{-\alpha_t}e^{f(x)h_t(x)} 注意到f(x) 和 h_t(x) 的取值范围均是{-1, +1} ,因此f(x)h_t(x) 只有两种可能,当f(x) = h_t(x)的时候 f(x)h_t(x) = 1,当f(x) \neq h_t(x) 的时候 f(x)h_t(x) = -1,带入上式即得结果

@yudayuta
Copy link

@archwalker 懂了,谢谢!

@Penuoz
Copy link

Penuoz commented May 27, 2020

南瓜书(8.6)那里,‘因此’的上一行是如何推到‘因此’的下一行的qaq不太明白D(x_i)怎么就没了的?

@archwalker
Copy link
Member

南瓜书(8.6)那里,‘因此’的上一行是如何推到‘因此’的下一行的qaq不太明白D(x_i)怎么就没了的?

您好,这里推导中存在错误,已修正,请查阅。

@s0rel
Copy link

s0rel commented Jun 2, 2020

您好,我在看西瓜书第八章的推导,我觉得式8.3是不是有点问题,您那边好像把\epsilon\delta弄混了,我仿照您的思路自己写了一个,您看看有没有问题
图片
另外,我想请问一下,红线部分到绿线部分就是小于号两边同时减去了(1- \epsilon)T,请问这样做的合理性是什么,这是在一个概率里面

@archwalker
Copy link
Member

您好,我在看西瓜书第八章的推导,我觉得式8.3是不是有点问题,您那边好像把\epsilon\delta弄混了,我仿照您的思路自己写了一个,您看看有没有问题
图片
另外,我想请问一下,红线部分到绿线部分就是小于号两边同时减去了(1- \epsilon)T,请问这样做的合理性是什么,这是在一个概率里面

您好,这里存在typos,已修正,谢谢反馈!
概率里面的式子描述的是事件,这两个事件是等价的,因此合理。

@jianglonger
Copy link

您好,请问公式8.6得证明中,结论中的p(f(xi) =1|xi)这个事件要总么理解啊?是理解为在选定xi得情况下f(xi)=1得概率么?这么理解得话不是100%或者0%了么?另外,huang'se黄色方框中得那个符号是什么意思,我的概率论比较渣,抱歉了
image

@datawhalechina datawhalechina deleted a comment from jianglonger Aug 3, 2020
@datawhalechina datawhalechina deleted a comment from jianglonger Aug 13, 2020
@datawhalechina datawhalechina deleted a comment from jianglonger Aug 13, 2020
@archwalker
Copy link
Member

您好,请问公式8.6得证明中,结论中的p(f(xi) =1|xi)这个事件要总么理解啊?是理解为在选定xi得情况下f(xi)=1得概率么?这么理解得话不是100%或者0%了么?另外,huang'se黄色方框中得那个符号是什么意思,我的概率论比较渣,抱歉了
image

我重新推导了一下,看看能不能帮助你理解

@EasyVector
Copy link

您好,在最新的released版本中:https://github.com/datawhalechina/pumpkin-book/releases/tag/v1.0.1 有一处错误,在49页的公式8.6的一处推导中,没有求和符号,与https://datawhalechina.github.io/pumpkin-book/#/chapter8/chapter8 不一致,请您confirm一下,谢谢!

截屏2020-12-04 14 47 40

@Sm1les
Copy link
Contributor Author

Sm1les commented Dec 4, 2020

@yuhuitech 同学你好,pdf是会略微有一点滞后的,累积到一定的错误后我们会更新pdf的

@EasyVector
Copy link

@yuhuitech 同学你好,pdf是会略微有一点滞后的,累积到一定的错误后我们会更新pdf的

好的,谢谢!

@ZuoGangwei
Copy link

image

还是那个问题,8.12解释里,“带入”应为“代入”。

@Sm1les
Copy link
Contributor Author

Sm1les commented Sep 18, 2021

@ZuoGangwei 好的,收到,回头我们统一改掉

@ZhangXiaohan-TJU
Copy link

式8.6推倒过程中涉及到的P(f(xi)=1|xi),这个概率是不是指当xi确定后,他真实标签为1的概率,那也就是说这个概率值是非0即1的?

@archwalker
Copy link
Member

式8.6推倒过程中涉及到的P(f(xi)=1|xi),这个概率是不是指当xi确定后,他真实标签为1的概率,那也就是说这个概率值是非0即1的?
不是:南瓜书中写的很清晰,其表示在数据集D中进行一次随机抽样,使得f(x_i)=1的样本x_i被抽到的概率

@ZhangXiaohan-TJU
Copy link

式8.6推倒过程中涉及到的P(f(xi)=1|xi),这个概率是不是指当xi确定后,他真实标签为1的概率,那也就是说这个概率值是非0即1的?
不是:南瓜书中写的很清晰,其表示在数据集D中进行一次随机抽样,使得f(x_i)=1的样本x_i被抽到的概率

那这样理解,就不是条件概率了呀。按照概率论的规范应该写成P(f(xi)=1 , xi),也就是交事件(抽到xi,且f(xi)=1)的概率才更符合上述理解呀。

@Niuwujia
Copy link

公式(8.5)到(8.6),式子本来是在对x求期望,结果一步就变出了x已知的条件概率,中间省了很多步吧;还有这里对H(x)求导可能是把H(x)当成一个泛函?这样的具体怎么求导可以说清楚吗

@AlexNovus
Copy link

image
8.2.16 AdaBoost 的个人推导 里面这一段应该是 $\epsilon_t = 0$

@archwalker
Copy link
Member

image 8.2.16 AdaBoost 的个人推导 里面这一段应该是 ϵt=0 吧

是的,这里是笔误,你的理解是对的

@Acumen7
Copy link

Acumen7 commented Dec 9, 2023

image
这里是两边同乘1/2吧

@Sm1les
Copy link
Contributor Author

Sm1les commented Mar 4, 2024

image 这里是两边同乘1/2吧

是的,感谢同学的勘误,我们这就更正并登记到勘误表中

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests