【第9章聚类】待推导或待解析公式征集+答疑专区

[Sm1les]

在这里，你可以：
1.评论留下西瓜书第9章你觉得需要补充推导细节或者解析的公式编号，我们看到后会尽快进行补充；
2.评论留下你对南瓜书第9章里相关内容的疑问，我们看到后会尽快进行答疑。

[feng-1985]

9.38下标错误：应为
$$\sum^m_{j=1} \frac{\alpha_i \cdot p(x_j|\mu_i, \Sigma_i)}{\sum^k_{l=1}\alpha_l \cdot p(x_j|\mu_l,\Sigma_l)} = -\lambda \alpha_i$$

[Sm1les]

@bifeng 是的，感谢您的指正，现已更正，请查阅 :)

[luisxxx]

第九章推导公式9.35时最后几步有个小错误
最后几行公式推导的时候，γij应该是乘以对角矩阵I，而不是乘以1
I是一个对角向量为1的斜对角矩阵。
只有这样的话，维度才能对得上。

[archwalker]

第九章推导公式9.35时最后几步有个小错误
最后几行公式推导的时候，γij应该是乘以对角矩阵I，而不是乘以1
I是一个对角向量为1的斜对角矩阵。
只有这样的话，维度才能对得上。

感谢反馈，已修改

[Sm1les]

@MooreAndMoore 同学你好，这个是解优化问题的一个trick而已，通常对于这种对待求参数定义域的限制不会直接列进拉格朗日函数，而是先忽略这个限制进行试探性地求解，如果恰好求得的结果满足这个限制那么这个解一定也是最优解。其原理是这样的：以你说的9.36的α_i为例，如果我们不考虑它必须>=0那么就等价于我们现在假设的α_i的取值范围是整个实数域，现在我们在整个实数域的范围下求得了α_i的最优解，由于这个解很容易看出是一定满足>=0的，那么我们是不是也可以说在>=0的范围下，现在求得的α_i一定也是最优解，显然是可以的，因为如果我是地球上最靓的仔，那么在中国我肯定也是最靓的仔 :)

[nchen909]

9.33个人认为应该改成这样（之前不知道直接pull request了 不好意思

\frac{\partial L L(D)}{\partial \boldsymbol{\mu}{i}} &=\frac{\partial}{\partial \boldsymbol{\mu}{i}}\left[\sum_{j=1}^{m} \ln \left(\sum_{i=1}^{k} \alpha_{i} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)\right] \
&=\sum{j=1}^{m} \frac{\partial}{\partial \boldsymbol{\mu}{i}}\left[\ln \left(\sum{i=1}^{k} \alpha_{i} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)\right] \
&=\sum{j=1}^{m} \frac{\alpha_{i} \cdot \frac{\partial}{\partial \boldsymbol{\mu}{i}}\left(p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)}{\sum_{l=1}^{k} \alpha_{l} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{l}, \boldsymbol{\Sigma}{l}\right)} \
&=\sum{j=1}^{m} \frac{1}{(2 \pi)^{\frac{n}{2}}\left|\boldsymbol{\Sigma}{i}\right|^{\frac{1}{2}} \exp \left(-\frac{1}{2}\left(\boldsymbol{x}{j}-\boldsymbol{\mu}{i}\right)^{T} \boldsymbol{\Sigma}{i}^{-1}\left(\boldsymbol{x}{j}-\boldsymbol{\mu}{i}\right)\right)}\left(-\frac{1}{2}\right) \cdot \ &\qquad\frac{\partial}{\partial \boldsymbol{\mu}{i}}\left(\boldsymbol{x}{j}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{x}{j}-\boldsymbol{x}{j}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{\mu}{i}-\boldsymbol{\mu}{i}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{x}{j}+\boldsymbol{\mu}{i}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{\mu}_{i}\right) \

[archwalker]

9.33个人认为应该改成这样（之前不知道直接pull request了 不好意思

\frac{\partial L L(D)}{\partial \boldsymbol{\mu}{i}} &=\frac{\partial}{\partial \boldsymbol{\mu}{i}}\left[\sum_{j=1}^{m} \ln \left(\sum_{i=1}^{k} \alpha_{i} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)\right] \ &=\sum{j=1}^{m} \frac{\partial}{\partial \boldsymbol{\mu}{i}}\left[\ln \left(\sum{i=1}^{k} \alpha_{i} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)\right] \ &=\sum{j=1}^{m} \frac{\alpha_{i} \cdot \frac{\partial}{\partial \boldsymbol{\mu}{i}}\left(p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)}{\sum_{l=1}^{k} \alpha_{l} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{l}, \boldsymbol{\Sigma}{l}\right)} \ &=\sum{j=1}^{m} \frac{1}{(2 \pi)^{\frac{n}{2}}\left|\boldsymbol{\Sigma}{i}\right|^{\frac{1}{2}} \exp \left(-\frac{1}{2}\left(\boldsymbol{x}{j}-\boldsymbol{\mu}{i}\right)^{T} \boldsymbol{\Sigma}{i}^{-1}\left(\boldsymbol{x}{j}-\boldsymbol{\mu}{i}\right)\right)}\left(-\frac{1}{2}\right) \cdot \ &\qquad\frac{\partial}{\partial \boldsymbol{\mu}{i}}\left(\boldsymbol{x}{j}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{x}{j}-\boldsymbol{x}{j}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{\mu}{i}-\boldsymbol{\mu}{i}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{x}{j}+\boldsymbol{\mu}{i}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{\mu}_{i}\right) \

您好，这部分推导确有问题，已进行重新推导，请查阅。
另：非常欢迎以PR的形式更正内容。

[Izaya1999]

请问9.35的矩阵微分公式，为什么写的是−X−Tab^TX−T，而后面代入后变成了Σi的逆呢
，如果按照前面公式代入，不应该是Σi-T吗

[Izaya1999]

请问9.38推导中，为什么两边对所有混合成分求和后，可以得出m=-λ呢？有点看不明白，谢谢

[archwalker]

请问9.35的矩阵微分公式，为什么写的是−X−Tab^TX−T，而后面代入后变成了Σi的逆呢
，如果按照前面公式代入，不应该是Σi-T吗

因为 \sigma^{-1} 是对称矩阵，因此 \sigma^{-1} = \sigma^{-1}^{T}

[archwalker]

请问9.38推导中，为什么两边对所有混合成分求和后，可以得出m=-λ呢？有点看不明白，谢谢

这里遗漏了一步推导，已补上，请查阅

[Izaya1999]

请问9.38推导中，为什么两边对所有混合成分求和后，可以得出m=-λ呢？有点看不明白，谢谢

这里遗漏了一步推导，已补上，请查阅

非常感谢！

[hongtao45]

书籍版本：v1.0.2
9.8的公式解析
“求和号左边是 (x i, x j) 组合个数的倒数”，是不是不对啊？我觉得应该是“聚类结果中的簇划分C的组合个数的倒数”。

[archwalker]

书籍版本：v1.0.2
9.8的公式解析
“求和号左边是 (x i, x j) 组合个数的倒数”，是不是不对啊？我觉得应该是“聚类结果中的簇划分C的组合个数的倒数”。

这两个说法表达的意思是一致的，因为x_i, x_j 都是划分C中的样本。

[hongtao45]

书籍版本：v1.0.2
9.8的公式解析
“求和号左边是 (x i, x j) 组合个数的倒数”，是不是不对啊？我觉得应该是“聚类结果中的簇划分C的组合个数的倒数”。

这两个说法表达的意思是一致的，因为x_i, x_j 都是划分C中的样本。

谢谢，仔细想想，确实是一样的说法。