New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
【第5章神经网络】待推导或待解析公式征集+答疑专区 #64
Comments
@TonyHzr 是的,正则化项通常都是针对模型的所有参数的,在神经网络模型里面所有的参数就是连接权和阈值。 |
了解了,十分感谢~ |
https://datawhalechina.github.io/pumpkin-book/#/chapter5/chapter5 datawhalechina项目希望能够留下邮箱联系方式哦。这样反馈比较及时。 |
@chenshijin1 同学你好,感谢你的反馈,5.10已经改正,你没写错,这里就是错误反馈区 :) |
@HLBayes 同学你好,5.12里面是对某个具体的theta_j求导,所以和其他j的取值无关,因此无需求和,例如,对theta_1求导时,跟theta_2、theta_3、theta_4等都没关系,所以只需要对theta_1求导即可。5.13里面是对某个具体的v_ih求导,由于任意一个v_ih的变动都会影响到y_1至y_l的结果,因此对v_ih求导时,需要分别将y_1至y_l对v_ih的求导结果加起来。 |
@Sm1les 感谢。明白了。v_{ih}是隐层神经元h输入的组成部分,最终构成隐层神经元h的输出b_h,并与所有“隐层-输出层”间权重w_{hj}和输出层所有神经元的阈值theta_j构成了y_j, j=1,...,l。 |
南瓜书对于5.24公式的解释太长了,看不太懂,能不能出期视频讲解一下,谢谢! |
@ZuoGangwei 好的,后续安排,到时候在南瓜书读者交流群通知,进群方式参见README最下方 |
第五章 式(5.2) 中最后推导梯度的时候,\hat(yi)也应该是关于w的函数,没有对其求导,直接当成常数处理了,这似乎是不正确的。 |
@wanyixue 同学你好,损失函数L是关于w和theta的函数,只有w和theta是未知的变量,\hat(yi)和yi都是已知量,所以不用对他们求导,因此也不存在不可导一说 |
\hat(yi)也是关于w和theta的函数,\hat(yi)=epsilon(w^T+b),也是预测出的吧,怎么能当已知量? |
@wanyixue 因为最开始我们会随机初始化一个w_0和theta_0,然后会将所有样本代入模型找到分类错误的点构成误分类点集合M,接着从M中随机选一个误分类点(xi,yi),根据w_0和theta_0计算出\hat(yi),最后算出梯度并将w_0和theta_0按照参数更新公式更新到w_1和theta_1,所以此时\hat(yi)是已知量,这块南瓜书上没有展开写,推荐你去看李航老师的《统计学习方法》中的感知机那一节,里面有道例题,你跟着例题算一下会更容易理解。 |
在这里,你可以:
1.评论留下西瓜书第5章你觉得需要补充推导细节或者解析的公式编号,我们看到后会尽快进行补充;
2.评论留下你对南瓜书第5章里相关内容的疑问,我们看到后会尽快进行答疑。
The text was updated successfully, but these errors were encountered: