【第3章线性模型】待推导或待解析公式征集+答疑专区 #62
Comments
|
您好： 我能不能把红色方框 看做一个整体M 先对M求导 然后求M对w的导数 这样可以吗？ |
|
@SunshineJZJ 同学你好，请把你的详细推导过程发出来看一下 |
|
您好： |
|
@SunshineJZJ 同学你好，西瓜书上的矩阵微分公式默认采用分母布局，所以你第2行的第一个等号后面的那两个偏导数的前后位置需要交换，理由参见打开这个链接https://en.wikipedia.org/wiki/Matrix_calculus#Vector-by-vector_identities |
|
@Requiemfan 同学你好，你截图部分下方的那句话有交代。 |
|
你好，不好意思。当时光顾着纠结公式了，谢谢。
…------------------ 原始邮件 ------------------
发件人: ":)s"<notifications@github.com>;
发送时间: 2019年10月4日(星期五) 晚上9:20
收件人: "datawhalechina/pumpkin-book"<pumpkin-book@noreply.github.com>;
抄送: "鲁凡"<1317587276@qq.com>;"Mention"<mention@noreply.github.com>;
主题: Re: [datawhalechina/pumpkin-book] 【第3章线性模型】待推导或待解析公式征集+答疑专区 (#62)
@Requiemfan 同学你好，你截图部分下方的那句话有交代。
—
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub, or mute the thread.
|
|
你好： |
|
@zxcvs 同学你好，已经补充进去了，但是我建议你还是先自己动手试推一下再看，因为这两个公式的推导并不复杂。 |
|
谢谢巨巨，因为这两个公式确实没有推明白所以上传询问，再次感谢巨巨
…------------------ 原始邮件 ------------------
发件人: ":)s"<notifications@github.com>;
发送时间: 2020年1月12日(星期天) 下午3:39
收件人: "datawhalechina/pumpkin-book"<pumpkin-book@noreply.github.com>;
抄送: "秋临QL"<208666312@qq.com>; "Mention"<mention@noreply.github.com>;
主题: Re: [datawhalechina/pumpkin-book] 【第3章线性模型】待推导或待解析公式征集+答疑专区 (#62)
@zxcvs 同学你好，已经补充进去了，但是我建议你还是先自己动手试推一下再看，因为这两个公式的推导并不复杂。
—
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub, or unsubscribe.
|
|
还有专家在吗？ 为什么 3.25 可以推导出 3.26. 没看明白。能帮忙解答一下吗 |
|
@davidzhr 同学你好，3.25是对数似然函数，3.26只是似然函数中的似然项而已，你是不明白3.26那个似然项为什么那么写吗？ |
|
是的， 前面假设了 P1, P0, 3.26 直接给出了一般化的公式， 我理解这个地方也只是 似然项的一个假设情况而已， 不知道对不对？ |
|
@davidzhr 是的，似然项本身就没有固定写法，你可以看我南瓜书里面额外给出了另一种似然项的写法，这两种写法都是对的。 |
|
谢谢， 看到了， 谢谢解答。 |
|
hi @Sm1les 没看明白由y=1, y=0 的两式综合所得 3.27的， 反倒是下面一种情况的似然项， 是严格的数据推导得到 3.27. |
|
@davidzhr 这个综合可得就是一个恒等变换，你把综合可得得到的式子里面的y_i分别取值为0和1你就会发现和上面那个式子是等价的。 |
|
好的， 谢谢 |
|
您好！ |
|
@dlmdlmacy 3.45下面有句话，取N-1个最大的特征值对应的特征向量 |
感谢您的回复！但我还是有一点不明白： 在我的理解里，这个求W的过程是将W看成几个列向量w1、w2... 如果按照这样理解，每一个列向量所对应的特征值都不相同，但是式(3.45)中只有一个λ，如何满足式(3.45)呢？ 谢谢！ |
|
@dlmdlmacy 这个需要你参照3.37来理解，λ并不重要，我们求的w只关心方向，不关心大小 |
好的，谢谢！ |
|
@Sm1les 您好，请问公式3.10如何得出的呀？ |
|
@Sm1les Sorry，是公式3.11 |
|
@Sm1les 谢谢，因为一个地方理解错误所以致错，已解决。 |
|
@Harvestning ok，解决了就好 :)s |
|
请问这个公式，结果为什么是a, 而不是aT，我参考的是：
|
|
@IMYR666 同学你好，我写的a是列向量，你看的A是矩阵，此外，建议你参考 https://en.wikipedia.org/wiki/Matrix_calculus 这个看 |
这里列向量和矩阵不一样吗？这是我理解的公式，能讲下为什么不对吗 |
|
可以使用这种方法来理解，用张量的缩并，请指教
Yyp
1875847202@qq.com
…---原始邮件---
发件人: "IMYR666"<notifications@github.com>
发送时间: 2021年3月2日(周二) 下午3:12
收件人: "datawhalechina/pumpkin-book"<pumpkin-book@noreply.github.com>;
抄送: "Subscribed"<subscribed@noreply.github.com>;
主题: Re: [datawhalechina/pumpkin-book] 【第3章线性模型】待推导或待解析公式征集+答疑专区 (#62)
请问这个公式，结果为什么是a, 而不是aT，我参考的是：
—
You are receiving this because you are subscribed to this thread.
Reply to this email directly, view it on GitHub, or unsubscribe.
|
|
@IMYR666 同学你好，你理解的是对的，我刚回答的不够严谨，把你截图里面的维度m设成1是可以的，你写出来的公式也是对的，之所以和我写的不同的原因在于我用的是分母布局，你用的是分子布局，西瓜书以及本书默认都用的分母布局；参考链接打开乱码的原因是需要“科学上网才能打开”，你留个邮箱，我可以发一份这个网页的pdf给你 :)s |
|
@1875847202 同学你好，你的图好像没上传成功？ |
好的，邮箱：992047579@qq.com, 再问下分子布局，分母布局有什么区别吗，之前好像没听过，谢谢 |
|
@IMYR666 已发，这个区别建议百度“矩阵微分 分子布局 分母布局” :)s |
好的，感谢大佬 |
|
请问对于3.45，为什么要选择最大的广义特征值呢，我认为只要是非零特征值都可以满足这个公式，比如我是不是可以选择特征空间维数最少的那个特征值，或者选择选择多个特征值。另外W中特征向量的选择有没有什么要求，W本身有N-1列，但却选择d‘ |
|
@ChenZQ-nano 同学你好，选择N-1个最大的广义特征值是为了使得公式3.44这个优化目标达到最大值，原因我在近期的直播里面有讲（直播回放地址：https://www.bilibili.com/video/BV1Mh411e7VU?p=5 ，在广义瑞利熵那部分讲的）。W本身有N-1列表示选取N-1个向量，你的d'是从哪儿来的？ |
|
@ChenZQ-nano 严谨一点：不是选择N-1个最大的广义特征值，而是选择N-1个最大的广义特征值所对应的广义特征向量 |
|
您好，请问在P58页公式3.19下一行，为什么可以将y视为样本x作为正例的可能性？我无法找到两者的必然联系。 |
|
@Harvestning 这就是一个数学假设而已，你可以接受这个假设，也可以不接受 |
那这样的话，用对数几率回归作分类的话是很不严谨的。 |
|
你好，有一个关于ω的问题，如果是对单样本(特征数量n>=2)进行拟合，我将ω理解为对应该样本的各个属性"权重"向量，维度等于n。 如果有i个样本的话，难道不应该有i个ω吗？（每一个 x_i 有一个与之对应的 ω_i，看西瓜书上写的貌似像 i 个样本共用1个ω的样子，讲道理每个样本应该拟合一个特有的空间向量呀！实在困惑，是我哪里想错了吗？） |
|
@IianWang 同学你好，w和样本个数无关，一个模型（也即f(x)）对应一个w，你貌似对【模型】这个概念还没理解，建议再仔细看一下西瓜书第1章，或者看一下我在B站讲的第3章的视频，视频的开头我有举例子，视频地址：https://www.bilibili.com/video/BV1Mh411e7VU?p=2 |
|
你好，请问式(3.38)中，要重新调整 |
|
@Adiolph 同学你好，这里你可以在求出w以后，再通过手动代值法调整lambda和w的大小来使得原先的约束条件成立，不过此时你会发现lambda是一个标量，且是我们不需要关心的，w这个向量你也只能去改变它的大小，而不能改变它的方向，而在线性判别分析这个问题中我们要求的也只是它的方向，它的大小无所谓，所以就没有必要再去为了严格满足原先的约束条件而去调整lambda和w的大小了，不知道你是否有看我的配套视频讲解，我在里面有详细交代，在此附上视频讲解的地址：https://www.bilibili.com/video/BV1Mh411e7VU?p=5 |
|
@davidzhr 嗯嗯，我原先认为优化 之前没看视频，只看了文字推导，视频里头对广义瑞利商的介绍令人受益匪浅，现在这种问题已经可以用全新的角度（解特征向量）来理解了，感谢分享！ |
|
在南瓜书瓜书中的3.45中，为什么不取最大的一个特征值对应的特征向量然后重复k列也就是 |
|
救救孩子吧！谁能说一下LDA的标准形式和标准解法，看了很多文献和书籍都没找到这解是怎么得到的，每个文献上LDA的形式还不相同 |
|
@zhaoyifengf 同学你好，我也是正在学习中，这里抛砖引玉，说一下我的理解： |
|
南瓜书里面的公式3-9 |
|
@Link2Truth 同学你好，这里确实是漏掉了角标i，这就更正，感谢你的反馈 :) |
|
我来提供一个3.10的更简便求导法。方法采用了矩阵微分中，对标量函数的迹函数进行微分，得到对行向量求导的雅克比矩阵，转置后得到对列向量求导的梯度矩阵。参考张贤达的《矩阵分析与应用》第三章第2节。 |
|
这是来自QQ邮箱的假期自动回复邮件。您好，我最近正在休假中，无法亲自回复您的邮件。我将在假期结束后，尽快给您回复。
|
|
typo: 3.4.5 |
在这里，你可以：
1.评论留下西瓜书第3章你觉得需要补充推导细节或者解析的公式编号，我们看到后会尽快进行补充；
2.评论留下你对南瓜书第3章里相关内容的疑问，我们看到后会尽快进行答疑。
The text was updated successfully, but these errors were encountered: