文档章节

在浏览器中进行深度学习:TensorFlow.js (五)构建一个神经网络

naughty
 naughty
发布于 2018/05/07 04:50
字数 1206
阅读 2082
收藏 13

这一次我终于可以开始真正的深度学习了,从一个神经网络开始。

神经网络(Neural Network)是深度学习的基础,基本概念包括:神经元,层,反向传播等等。如果细讲我估计没有五到十篇文章那是讲不完的。简单说它模拟了大脑神经元工作的方式,利用把多个神经元组合成网络结构的模型来对数据进行分类。

Image result for 神经网络

  • 神经网络是一个多层结构的反馈网络,包括输入,输出和隐藏层。
  • 每一层由若干个神经元组成。
  • 整个网络利用反向传播,反馈输出的结果和期望值的差异来进行学习。
  • 可以理解网络是一个函数ouput=function(input), 随着网络层次的加深,神经网络可以模拟一个非常复杂的非线性函数,当然学习的成本就更高,因为要学习的参数会随着层数和每一层的神经元的个数增加而增加。

TensorFlowJs提供了对神经网络/深度神经网络提供了很好的支持。包括:模型 tf.model, 层 tf.layer。

下面我们就看看如果利用TensorFlowJS来构建一个简单的神经网络来进行MINST数据的手写识别。

构建网络

function nn_model() {
  const model = tf.sequential();
  model.add(tf.layers.dense({
    units: 32, inputShape: [784]
  }));
  model.add(tf.layers.dense({
    units: 256
  }));
  model.add(tf.layers.dense(
    {units: 10, kernelInitializer: 'varianceScaling', activation: 'softmax'}));
  return model;
}

以上代码构建了一个有两个隐藏层的神经网络,第一层有32个神经元,第二层有256个神经元。

  • tf.sequential 构建一个序列化的网络模型,这样的网络每一层的输出连接到下一层的输入,类似一个有每一层组成的栈。不存在分支或者跳跃。

  • 利用model.add向模型中增加一层

  • tf.layers.dense提供一个全联接的层。units定义了该层的神经元个数。inputShape是输入数据的形状。网络中第一层必须明确指定输入形状,其余的层默认从前面的层输入。

  • 最后一层决定了分类器的结果,所以我们使用softmax作为激活函数,units为10,表示10的数字0-9的分类结果。

网络初始化

const model = nn_model();
const LEARNING_RATE = 0.15;
const optimizer = tf.train.sgd(LEARNING_RATE);
model.compile({
  optimizer: optimizer,
  loss: 'categoricalCrossentropy',
  metrics: ['accuracy'],
});
  • 初始化模型,定义学习率,优化器
  • 调用model.compile方法,定义损失函数。

训练网络

async function train() {
  const BATCH_SIZE = 16;
  const TRAIN_BATCHES = 100;

  const TEST_BATCH_SIZE = 100;
  const TEST_ITERATION_FREQUENCY = 5;

  for (let i = 0; i < TRAIN_BATCHES; i++) {
    const batch = data.nextTrainBatch(BATCH_SIZE);

    let testBatch;
    let validationData;
    // Every few batches test the accuracy of the mode.
    if (i % TEST_ITERATION_FREQUENCY === 0 && i > 0 ) {
      testBatch = data.nextTestBatch(TEST_BATCH_SIZE);
      validationData = [
        testBatch.xs.reshape([TEST_BATCH_SIZE, 784]), testBatch.labels
      ];
    }

    // The entire dataset doesn't fit into memory so we call fit repeatedly
    // with batches.
    const history = await model.fit(
        batch.xs.reshape([BATCH_SIZE, 784]), batch.labels,
        {batchSize: BATCH_SIZE, validationData, epochs: 1});

    batch.xs.dispose();
    batch.labels.dispose();
    if (testBatch != null) {
      testBatch.xs.dispose();
      testBatch.labels.dispose();
    }
    await tf.nextFrame();
  }
}
  • 训练的核心方法是调用model.fit(x,y,config)方法。x是训练数据,y是训练的分类标签。config是可选项。
  • 在训练过程中,我们使用testBactch来做验证,计算准确率。结果存入model.fit的返回值中。
  • 调用dispose方法释放tensor占用的内存
  • tf.nextFrame() 返回一个Promise,主要用于Web动画。
    static nextFrame(): Promise<void> {
      return new Promise<void>(resolve => requestAnimationFrame(() => resolve()));
    }

     

大家可以试一试我在codepen上的例子

通过改变模型的层数和每一层神经元的个数,我们可以评估该模型是否有效。

Batch :16   神经元 :32+256  准确率 :0.84

Batch :64   神经元 :32+256  准确率 :0.92

Batch :16   神经元 :32+256+256+32  准确率 :0.75

Batch :16   神经元 :32+256+256+256  准确率 :0.11

我们发现网络也并非越深越好,在最后一个4层的例子中,训练的损失很高,效果很差。

在深度学习中如果定义这些超参数(hyperparameter),真的很难。

较大的batchSize效果比较小的要好,但是由于浏览器内存的限制,我们无法加载较大的Batch训练数据。

更多的发现留给大家去尝试。

神经网络的种类有很多,以后有机会我们可以继续了解。

f38d2260c0b5c0e03c6793601f2da59ffd8dd3ab

 

参考:

 

© 著作权归作者所有

naughty

naughty

粉丝 347
博文 71
码字总数 139171
作品 0
其它
私信 提问
在浏览器中进行深度学习:TensorFlow.js (九)训练词向量 Word Embedding

词向量,英文名叫Word Embedding,在自然语言处理中,用于抽取语言模型中的特征,简单来说,就是把单词用一个向量来表示。最著名的Word Embedding模型应该是托马斯·米科洛夫(Tomas Mikolov...

naughty
03/18
0
0
在浏览器中进行深度学习:TensorFlow.js (十一)时间序列预测

时间序列是对某一个或者一组变量 x(t) 进行观察测量,将在一系列时刻 t1,t2,⋯,tn 所得到的离散数字组成的序列集合。 时间序列预测的机器学习的一种常见应用,例如预测股票和金融产品价格走势...

naughty
05/20
0
0
在浏览器中进行深度学习:TensorFlow.js (十)构建一个推荐系统

推荐系统是机器学习的一个常见应用场景,它用于预测用户对物品的“评分”或“偏好”。通常推荐系统产生推荐列表的方式通常有两种: 协同过滤以及基于内容推荐,或者基于个性化推荐。协同过滤...

naughty
05/07
0
0
在浏览器中进行深度学习:TensorFlow.js (十二)异常检测算法

异常检测是机器学习领域常见的应用场景,例如金融领域里的信用卡欺诈,企业安全领域里的非法入侵,IT运维里预测设备的维护时间点等。我们今天就来看看异常检测的基本概念,算法,然后看看如何...

naughty
05/29
0
0
神经网络 3D 可视化框架 - TensorSpace

TensorSpace 是一套用于构建神经网络3D可视化应用的框架。 开发者可以使用类 Keras 风格的 TensorSpace API,轻松创建可视化网络、加载神经网络模型并在浏览器中基于已加载的模型进行3D可交互...

匿名
2018/11/15
0
3

没有更多内容

加载失败,请刷新页面

加载更多

Linux的基本命令

目录的操作命令(增删改查) 增: mkdir 目录名称; 查: ls 可以看到该目录下的所有的目录和文件 ls -a,可以看到该目录下的所有文件和目录,包括隐藏的 ls -l,可以看到该目录下的所有目录和...

凹凸凸
今天
2
0
在古老unix中增加新用户

Installing 4.3 BSD Quasijarus on SIMH 目标:要在4.3BSD中新增加用户dmr,指定目录/home/dmr,uid为10 gid=31(guest组,系统已建立) 4.3BSD还没有adduser或useradd 直接修改/etc/passwd...

wangxuwei
今天
2
0
Bootstrap(六)表单样式

基本样式 所有设置了 .form-control 类的 <input>、<textarea> 和 <select> 元素都将被默认设置宽度属性为 width: 100%;。 将 label 元素和前面提到的控件包裹在 .form-group 中可以获得最好...

ZeroBit
昨天
3
0
SSL 证书格式转换

SSL 证书格式转换 不同服务器情况下,需要不同的证书格式。 比如 pem 转 pfx。 pem在window 平台下可以导入,但是无法正常使用。 需要转换成pfx。 推荐在线转换工具,由中国数字证书网站提供...

DrChenXX
昨天
2
0
HAProxy

xx

Canaan_
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部