一、前言 上一篇博客《如何用DL4J构建起一个人脸识别系统》介绍了如何用DL4J构建一个人脸识别服务，在文章的结尾提到了ML Attack，本篇博客就来介绍一下如何用DeepLearning4J对人脸识别模型进...

一、概述 人脸识别本质上是一个求相似度的问题，相同的人脸映射到同一个空间，他们的距离比较近，这个距离的度量可以是余弦距离，也可以是欧几里得距离，或者其他的距离。下面有三个头像。 ...

Netty被广泛使用在各种场景，如Dubbo服务的远程通信、Hadoop的shuffle过程、游戏领域的client和server通讯等等。Netty可以非常方便的定义各种私有协议栈，是网络编程的利器。Netty是对NIO的封...

一、文章主要内容 1、Windows10下从cuda9.2升级到cuda10.2 2、Windows10下cudnn安装 3、cuda9.2、cuda10.2、cudnn7.2.1、cudnn7.6.5在DeepLearning4j中性能对比 二、安装过程 1、机器环境说明...

一、写在前面 “架构”一词，是一个非常大命题，通常很难用语言来描述这个东西，我们先不谈“架构“这个词，我们先来看一些现象。 1、对于真正做实事的开发者来说，通常会有类似的感觉，架构...

一、背景 自然语言处理就是要让计算机理解人类的语言，至于到目前为止，计算机是否真的理解的人类的语言，这是一个未知之数，我的理解是目前为止并没有懂得人类语言，只是查表给出一个最大概...

一、导读 众所周知图像是有红绿蓝三种颜色堆叠而成，利用deeplearning对图像处理，必须把图像转化为张量，每一张图片由有三维张量组成，三维分别是[depth、height、width]，直观来讲，就是用...

一、Normalization是什么 Normalization一句话概括来说就是用一种办法，将一组数据压到均值为0，方差为1的正态分布上去，具体做法是数据集的每一个元素减去均值再除以标准差。公式如下：（请...

一、Gan的思想 Gan的核心所做的事情是在解决一个argminmax的问题，公式： 1、求解一个Discriminator，可以最大尺度的丈量Generator 产生的数据和真实数据之间的分布距离 2、求解一个Generat...

一、数据集介绍 数据来源：今日头条客户端 数据格式如下： 6551700932705387022_!_101_!_news_culture_!_京城最值得你来场文化之旅的博物馆_!_保利集团,马未都,中国科学技术馆,博物馆,新中国...

一、前言 ND4J从beta2开始就开始支持自动微分，不过直到beta4版本为止，自动微分还只支持CPU，GPU版本将在后续版本中实现。 本篇博客中，我们将用ND4J来构建一个函数，利用ND4J SameDiff构建...

一、导读 1、window10 python环境Anaconda 安装 2、keras安装 3、tensorflow安装 4、eclipse python开发插件PyDev安装，配置 5、keras卷积神经网络对手写数字识别 二、环境安装 1、Anaconda ...

一、前言 事务一直以来是一个玄之又玄的东西，非常难以理解。难以理解倒不是因为事务本身有多难，而是事务这个概念被各种刻意包装，以至于让人晕头转向，摸不着头脑。例如各种抽象的概念，一...

上一篇博客《剖析Hadoop和Spark的Shuffle过程差异（一）》剖析了Hadoop MapReduce的Shuffle过程，那么本篇博客，来聊一聊Spark shuffle。 Spark shuffle相对来说更简单，因为不要求全局有序，...

本篇博客将介绍Spark RDD的Map系算子的基本用法。 1、map map将RDD的元素一个个传入call方法，经过call方法的计算之后，逐个返回，生成新的RDD，计算之后，记录数不会缩减。示例代码，将每个...

一、前言 Elastic-Job是一个优秀的分布式作业调度框架。 Elastic-Job是一个分布式调度解决方案，由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。 Elastic-Job-Lite定位为轻...

一、前言 对于基于MapReduce编程范式的分布式计算来说，本质上而言，就是在计算数据的交、并、差、聚合、排序等过程。而分布式计算分而治之的思想，让每个节点只计算部分数据，也就是只处理一...

一、reduceByKey作用 reduceByKey将RDD中所有K,V对中，K值相同的V进行合并，而这个合并，仅仅根据用户传入的函数来进行，下面是wordcount的例子。 import java.util.Arrays; import java.uti...

一、前言 Sharding-JDBC 是一款优秀的分库分表框架，从3.0开始，Sharding-JDBC更名为Sharding-Sphere，之前用Sharding-JDBC 2时，对于同库分表而言，sql执行是串行的，因为同数据源的connect...

一、前言 计算机视觉长久以来没有大的突破，卷积神经网络的出现，给这一领域带来了突破，本篇博客，将通过具体的实例来看看卷积神经网络在图像识别上的应用。 导读 1、问题描述 2、解决问题的...