加载中
一篇文章看懂大型网站的架构技巧

一、写在前面 “架构”一词,是一个非常大命题,通常很难用语言来描述这个东西,我们先不谈“架构“这个词,我们先来看一些现象。 1、对于真正做实事的开发者来说,通常会有类似的感觉,架构...

2019/10/13 18:06
159
一篇文章看懂自然语言处理——word表示技术的变迁(从bool模型到BERT)

一、背景 自然语言处理就是要让计算机理解人类的语言,至于到目前为止,计算机是否真的理解的人类的语言,这是一个未知之数,我的理解是目前为止并没有懂得人类语言,只是查表给出一个最大概...

2019/09/25 00:12
1W
如何利用deeplearning4j中datavec对图像进行处理

一、导读 众所周知图像是有红绿蓝三种颜色堆叠而成,利用deeplearning对图像处理,必须把图像转化为张量,每一张图片由有三维张量组成,三维分别是[depth、height、width],直观来讲,就是用...

通俗话说一说各种Normalization以及用deeplearning4j实现Layer Normalization

一、Normalization是什么 Normalization一句话概括来说就是用一种办法,将一组数据压到均值为0,方差为1的正态分布上去,具体做法是数据集的每一个元素减去均值再除以标准差。公式如下:(请...

如何用Deeplearning4j实现GAN

一、Gan的思想 Gan的核心所做的事情是在解决一个argminmax的问题,公式: 1、求解一个Discriminator,可以最大尺度的丈量Generator 产生的数据和真实数据之间的分布距离 2、求解一个Generat...

DL4J之CNN对今日头条文本分类

一、数据集介绍 数据来源:今日头条客户端 数据格式如下: 6551700932705387022_!_101_!_news_culture_!_京城最值得你来场文化之旅的博物馆_!_保利集团,马未都,中国科学技术馆,博物馆,新中国...

ND4J自动微分

一、前言 ND4J从beta2开始就开始支持自动微分,不过直到beta4版本为止,自动微分还只支持CPU,GPU版本将在后续版本中实现。 本篇博客中,我们将用ND4J来构建一个函数,利用ND4J SameDiff构建...

2019/05/25 11:28
201
eclipse撸一发Keras卷积神经网络对手写数字识别

一、导读 1、window10 python环境Anaconda 安装 2、keras安装 3、tensorflow安装 4、eclipse python开发插件PyDev安装,配置 5、keras卷积神经网络对手写数字识别 二、环境安装 1、Anaconda ...

一篇文章看懂事务的一致性

一、前言 事务一直以来是一个玄之又玄的东西,非常难以理解。难以理解倒不是因为事务本身有多难,而是事务这个概念被各种刻意包装,以至于让人晕头转向,摸不着头脑。例如各种抽象的概念,一...

2019/03/25 19:40
1.4K
剖析Hadoop和Spark的Shuffle过程差异(二)

上一篇博客《剖析Hadoop和Spark的Shuffle过程差异(一)》剖析了Hadoop MapReduce的Shuffle过程,那么本篇博客,来聊一聊Spark shuffle。 Spark shuffle相对来说更简单,因为不要求全局有序,...

2019/03/12 23:22
1K
Spark RDD操作之Map系算子

本篇博客将介绍Spark RDD的Map系算子的基本用法。 1、map map将RDD的元素一个个传入call方法,经过call方法的计算之后,逐个返回,生成新的RDD,计算之后,记录数不会缩减。示例代码,将每个...

2019/03/07 20:12
57
分布式定时任务框架Elastic-Job的使用

一、前言 Elastic-Job是一个优秀的分布式作业调度框架。 Elastic-Job是一个分布式调度解决方案,由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。 Elastic-Job-Lite定位为轻...

2019/03/06 20:37
449
剖析Hadoop和Spark的Shuffle过程差异(一)

一、前言 对于基于MapReduce编程范式的分布式计算来说,本质上而言,就是在计算数据的交、并、差、聚合、排序等过程。而分布式计算分而治之的思想,让每个节点只计算部分数据,也就是只处理一...

2019/03/05 23:33
2.9K
Spark RDD操作之ReduceByKey

一、reduceByKey作用 reduceByKey将RDD中所有K,V对中,K值相同的V进行合并,而这个合并,仅仅根据用户传入的函数来进行,下面是wordcount的例子。 import java.util.Arrays; import java.uti...

2019/03/04 19:49
6.6K
解析Sharding-Sphere的SQL执行引擎

一、前言 Sharding-JDBC 是一款优秀的分库分表框架,从3.0开始,Sharding-JDBC更名为Sharding-Sphere,之前用Sharding-JDBC 2时,对于同库分表而言,sql执行是串行的,因为同数据源的connect...

2018/12/15 19:57
3.8K
deeplearning4j——卷积神经网络对验证码进行识别

一、前言 计算机视觉长久以来没有大的突破,卷积神经网络的出现,给这一领域带来了突破,本篇博客,将通过具体的实例来看看卷积神经网络在图像识别上的应用。 导读 1、问题描述 2、解决问题的...

ND4J的基本操作

一、ND4J的在内存中的存储结构 对于ND4J而言,所有的数据都存储在堆外内存,是一维的连续内存,INDArray 只是指向了这片连续的内存空间,把连续内存映射成张量,ND4J定义了两种排序规则:C o...

2018/10/08 19:53
4.2K
对基于深度神经网络的Auto Encoder用于异常检测的一些思考

一、前言 现实中,大部分数据都是无标签的,人和动物多数情况下都是通过无监督学习获取概念,故而无监督学习拥有广阔的业务场景。举几个场景:网络流量是正常流量还是攻击流量、视频中的人的...

2018/07/23 23:36
7K
ND4J求多元线性回归以及GPU和CPU计算性能对比

上一篇博客《梯度下降法求多元线性回归及Java实现》简单了介绍了梯度下降法,并用Java实现了一个梯度下降法求回归的例子。本篇博客,尝试用dl4j的张量运算库nd4j来实现梯度下降法求多元线性回...

2018/07/17 19:39
1.7K
梯度下降法求多元线性回归及Java实现

对于数据分析而言,我们总是极力找数学模型来描述数据发生的规律, 有的数据我们在二维空间就可以描述,有的数据则需要映射到更高维的空间。数据表现出来的分布可能是完全离散的,也可能是聚...

2018/07/17 19:28
4.9K

没有更多内容

加载失败,请刷新页面

返回顶部
顶部