handwriting recognition
博客专区 > saber-YY 的博客 > 博客详情
handwriting recognition
saber-YY 发表于1年前
handwriting recognition
  • 发表于 1年前
  • 阅读 0
  • 收藏 0
  • 点赞 0
  • 评论 0

标题:腾讯云 新注册用户域名抢购1元起>>>   

摘要: 在学习神经网络时,我选择Michael Nielsen 写的Neural Networks and Deep Learning,下面主要是记录的一些我在看书中疑惑的地方 并且参考了该博主的博客:http://blog.csdn.net/yc461515457/article/details/50499515

#神经网络 输入图片说明

输入图片说明 输入图片说明

输入图片说明

输入图片说明 输入图片说明

输入图片说明

输入图片说明 输入图片说明

输入图片说明

输入图片说明

输入图片说明

#问题一: 在书中说了为什么使用10个输出而不是4个输出,于是它做了如下假设:

假设隐藏层中神经元的第一个、第二个、第三个、第四个神经元节点分别验证图中是否含有如下图片中的像素点,方法就是给与下图中像素重叠的地方加权,而其余地方减少其权重。

输入图片说明输入图片说明输入图片说明输入图片说明

可以看出它们组成了此张写着“0”的图片:

输入图片说明

_但是由于4个输出的话,2^4,那么却没有一个检测可以直接决定使用四位bit中的哪位,特别是对于第一位,它一下就很大的改变了值。作者也提供了一个题目,叫我们去写如下图的网络,试着给它们赋权值,从而达到用4位作为输出的结果,当然我现在是拒绝的,因为算法不变的情况下会这样只会加大计算量,有时间再说了^=^ _

输入图片说明

#问题二

"Why not try to maximize that number directly, rather than minimizing a proxy measure like the quadratic cost?"

这是书中原话,原因就是直接使用正确的图片数作为判断,那么函数不是连续的的,而用二次成本函数这种形式就是连续的了。

#问题三 输入图片说明

原文是这样写的,所以之后它在解释为什么这样写,这是因为它要使用该公式进行计算:

输入图片说明

而上文中又有该公式:

输入图片说明

作者说这两个公式是等价的,可以有一下简图说明,当网络的情况是如下时:

输入图片说明

有对应的w和a相乘情况:

输入图片说明

可以知道,这样写对于计算是非常方便的。

#问题四

代码的数据结构

输入图片说明

至于biases和weights,都是一个list里面包括了几个array,并且从维度上来说都是箭头指向的节点所指向的神经元代表的,具体可以看问题三

#问题五 输入图片说明

输入图片说明

Proof (BP3)

由于有:

输入图片说明

输入图片说明

所以:

输入图片说明

(BP4)的证法与之相同

额,余下的一下子想整理来着,又有点乱,也许我以后会回过头来再看的,所以,先这样,这些问题恰恰是我在初次看的时候碰到的,以后就算再看,也不会有更多的问题了,只是思绪还是有些乱,奈何如今我的时间不多。

共有 人打赏支持
粉丝 0
博文 4
码字总数 1561
×
saber-YY
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: