【第12章计算学习理论】待推导或待解析公式征集+答疑专区

[Sm1les]

在这里，你可以：
1.评论留下西瓜书第12章你觉得需要补充推导细节或者解析的公式编号，我们看到后会尽快进行补充；
2.评论留下你对南瓜书第12章里相关内容的疑问，我们看到后会尽快进行答疑。

[Nono17]

（12.12）这个不明白

请问你是哪里不太明白？书上这不是给出了推导

[johnmaster]

@Nono17 （12.12）为什么（1-∈）的m次小于e的负m*∈次。十分感谢。

[Sm1les]

@johnmaster 同学你好，因为(1-ε)^m=e^[mln(1-ε)]，而e^[mln(1-ε)]是恒小于e^[m*(-ε)]的，所以(1-ε)^m也就恒小于e^[m*(-ε)]了。

[johnmaster]

@Sm1les 十分感谢！

[jbb0523]

请问定理12.4最后为什么“以至少1-\delta的概率成立”，这边儿有推导么？类似情况还有定理12.9的结论~

[Xinxing-97]

12.13最后一行,由1−δ⩾1−∣H∣e^( −mϵ) 应该推出∣H∣e ^(−mϵ) >=δ才对呀，解析结果写反了吧

[archwalker]

@the-life-is-short 您好，这里确实存在逻辑错误，已修复，感谢反馈

[yijiezcn]

式12.24 $|H_{|D'}| + |H_{D'|D}|$ 那个不等号的summation,第二个应该是从i=0到i-1,不是i+1

[archwalker]

12.24 $|H_{|D'}| + |H_{D'|D}|$ 那个不等号的summation,第二个应该是从i=0到i-1,不是i+1

您好，这里是笔误，已修正，感谢反馈！

[yijiezcn]

您好，式12.13这里的逻辑我不太明白，我们要回答的问题是“训练集的规模如何才能使学习算法以一定概率找到目标假设的\epsilon 近似”，因此我们应该直接计算“泛化误差>\epsilon”的概率。但是我们计算的概率却是“(泛化误差>\epsilon) 且(经验误差为0)”。我知道后者会小于前者，所以不影响结论，但是这样推出来的bound应该是非常松的。请问应该怎么理解呢？

[yijiezcn]

您好，关于式12.12我也有一个问题，这个概率从语境上理解应该是“存在 h \in H, 泛化误差>\epsilon 且 经验误差为0”的概率。但是这样的写法好像就变成了是“h \in H”的概率。这样的写法我不太能理解。

[yijiezcn]

您好，关于式12.31的问题。在推导E(g)和E(h)被经验误差bound住时，我们分别令\epsilon为不一样的值。但是在后续合并时，出现了\epsilon/2 + \epsilon/2 = \epsilon这样的操作。这里两个\epsilon的值不一样，为什么可以直接相加呢？

[archwalker]

您好，式12.13这里的逻辑我不太明白，我们要回答的问题是“训练集的规模如何才能使学习算法以一定概率找到目标假设的\epsilon 近似”，因此我们应该直接计算“泛化误差>\epsilon”的概率。但是我们计算的概率却是“(泛化误差>\epsilon) 且(经验误差为0)”。我知道后者会小于前者，所以不影响结论，但是这样推出来的bound应该是非常松的。请问应该怎么理解呢？

您好，注意到此节讨论的是“可分情形”，即目标概念 c 属于假设空间\mathcal{H}，因此必有经验误差为 0。

[archwalker]

您好，关于式12.12我也有一个问题，这个概率从语境上理解应该是“存在 h \in H, 泛化误差>\epsilon 且 经验误差为0”的概率。但是这样的写法好像就变成了是“h \in H”的概率。这样的写法我不太能理解。

您好，这里在一些教材比如浙大版的《概率论与数理统计》中写作 | 表示条件概率的意思。

[archwalker]

您好，关于式12.31的问题。在推导E(g)和E(h)被经验误差bound住时，我们分别令\epsilon为不一样的值。但是在后续合并时，出现了\epsilon/2 + \epsilon/2 = \epsilon这样的操作。这里两个\epsilon的值不一样，为什么可以直接相加呢？

您好，这两个\epsilon 是相等的，在定理 12.3 中给出了\epsilon 和 \delta 的关系，式 12.32给出了\delta^{\prime} 和\delta，\delta^{\prime} 和 \epsilon 的关系，验算可知两个\epsilon 是一样的。

[yijiezcn]

您好，关于式12.31的问题。在推导E(g)和E(h)被经验误差bound住时，我们分别令\epsilon为不一样的值。但是在后续合并时，出现了\epsilon/2 + \epsilon/2 = \epsilon这样的操作。这里两个\epsilon的值不一样，为什么可以直接相加呢？

您好，这两个\epsilon 是相等的，在定理 12.3 中给出了\epsilon 和 \delta 的关系，式 12.32给出了\delta^{\prime} 和\delta，\delta^{\prime} 和 \epsilon 的关系，验算可知两个\epsilon 是一样的。

谢谢您的回答！

[Ardea-alba]

12.29解得的等式应该是ε=……而不是δ吧

[FuRuF-11]

您好，我注意到公式12.12中，泛化误差的期望$E(h) > \epsilon$与经验误差的关系是交集，这里是否有些不妥？
因为最后我们要想严格的按照PAC学习的定义的形式的话，需要除了令$δ>=|H|e^{}$外，还需要对12.12两边同时用1减去原始式子，再取反化简。
然而，若此时依然按照12.12中的内容对P()中的内容进行取反的话，我们得到的结果为
$$
P( \forall h \in H : E(h) \leq \epsilon \lor \hat E(h) \not = 0)
$$
这与我们想要得到的结果是矛盾的。所以我觉得，这里换成条件概率的的形式会不会更好？因为这里我们已经假设了是在有限假设空间中的可分的情况（$\hat E(h)=0$），将其作为条件应当是可以的。

[bghfcd19900]

这是来自QQ邮箱的假期自动回复邮件。您好，我最近正在休假中，无法亲自回复您的邮件。我将在假期结束后，尽快给您回复。