文档章节

神经网络入门——9.简单神经网络

o
 osc_x4h57ch8
发布于 2018/04/24 11:22
字数 767
阅读 0
收藏 0

精选30+云产品,助力企业轻松上云!>>>

最简单的神经网络

目前为止,我们接触的感知器的输出非 0 即 1,输出单元的输入经过了一个激活函数 f(h)f(h) 在此处就是指阶跃函数。

 
 

阶跃激活函数

 

输出单元返回的是 f(h)f(h) 的结果,其中 hh 是输出单元的输入:

h = \sum_i w_ix_i + bh=iwixi+b

下图展示了一个简单的神经网络。权重、输入和偏置项的线性组合构成了输入 hh,其通过激活函数 f(h)f(h),给出感知器最终的输出,标记为 yy。

 

神经网络示意图,圆圈代表单元,方块是运算。

 

这个架构最酷的一点,也是使得神经网络可以实现的原因,就是激活函数 f(h)f(h) 可以是 任何函数,并不只是上面提到的阶跃函数。

例如,如果让 f(h) = hf(h)=h,输出等于输入,那网络的输出就是:

y = \sum_iw_ix_i + by=iwixi+b

你应该非常熟悉这个公式,它跟线性回归模型是一样的!

其它常见激活函数还有对数几率(又称作 sigmoid),tanh 和 softmax。这节课中我们主要使用 sigmoid 函数:

\mathrm{sigmoid}(x) = 1/(1+e^{-x})sigmoid(x)=1/(1+ex)

 

sigmoid 函数

 

sigmoid 函数值域是 0 到 1 之间,它的输出还可以被解释为成功的概率。实际上,用 sigmoid 函数作为激活函数的结果,跟对数几率回归是一样的。

这就是感知器到神经网络的改变,在这个简单的网络中,跟通常的线性模型例如对数几率模型相比,神经网络还没有展现出任何优势。

 

如你之前所见,在 XOR 感知器中,把感知器组合起来可以让我们对线性不可分的数据建模。

 

但是,如你所见,在 XOR 感知器中,虽然把感知器组合起来可以对线性不可分的数据建模,但是却无法对回归模型建模。

你一旦开始用连续且可导的激活函数后,就能够运用梯度下降来训练网络,这就是你接下来将要学到的。

 

简单网络练习

接下来你要用 NumPy 来计算一个简单网络的输出,它有两个输入节点,一个输出节点,激活函数是 sigmoid。你需要做的有:

  • 实现 sigmoid 激活函数
  • 计算神经网络输出

sigmoid 函数公式是:

\mathrm{sigmoid}(x) = 1/(1+e^{-x})sigmoid(x)=1/(1+ex)

指数你可以使用 NumPy 的指数函数 np.exp

这个网络的输出为:

y = f(h) = \mathrm{sigmoid}(\sum_i w_i x_i + b)y=f(h)=sigmoid(iwixi+b)

要计算加权求和,你可以让元素相乘再相加,或者使用 NumPy 的 点乘函数.

import numpy as np

def sigmoid(x):
    # TODO: Implement sigmoid function
    sigmoid=1/(1+np.exp(-x))
    return sigmoid

inputs = np.array([0.7, -0.3])
weights = np.array([0.1, 0.8])
bias = -0.1

# TODO: Calculate the output
output = sigmoid(np.dot(weights,inputs)+bias)

print('Output:')
print(output)

  

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。

暂无文章

如何防止单击按钮时对话框关闭 - How to prevent a dialog from closing when a button is clicked

问题: I have a dialog with EditText for input. 我有一个使用EditText输入的对话框。 When I click the "yes" button on dialog, it will validate the input and then close the dialog.......

富含淀粉
41分钟前
7
0
访问者模式Visitor

一 概述 场景:通常来说,用于封装数据所用到的pojo类,其只包含get、set,对应的业务逻辑是在Service上完成的;但如果出现多个pojo类都共用一套逻辑时,则应该考虑将逻辑进行抽象,不同类型...

小明不觉小
今天
5
0
jQuery Ajax错误处理,显示自定义异常消息 - jQuery Ajax error handling, show custom exception messages

问题: Is there some way I can show custom exception messages as an alert in my jQuery AJAX error message? 有没有什么方法可以在我的jQuery AJAX错误消息中显示自定义异常消息作为警报...

法国红酒甜
今天
28
0
告别传统机房:3D 机房数据可视化实现智能化与VR技术的新碰撞

前言 随着各行业对计算机依赖性的日益提高,计算机信息系统的发展使得作为其网络设备、主机服务器、数据存储设备、网络安全设备等核心设备存放地的计算机机房日益显现出它的重要地位,而机房...

xhload3d
昨天
51
0
spring源码解析-xml配置文件读取

整个 XML配置文件读取的大致流程如下: 通过继承自AbstractBeanDefinitionReader中的方法,来使用ResourLoader将资源文件路径转换为对应的Resource文件(读取资源文件并将其转为Resource) ...

wc_飞豆
昨天
22
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部