加载中
Hive和HBase有哪些区别与联系及适用场景

hive Hive是运行在Hadoop上的一个工具,准确地讲是一个搜索工具。当对海量数据进行搜索时,Hadoop的计算引擎是MapReduce。但是对MapReduce的操作和编程是非常复杂的。于是Hive的存在就让复杂...

Spark 数据倾斜

什么是数据倾斜 比方WordCount中某个Key对应的数据量非常大的话,就会产生数据倾斜,导致两个后果: OM(单或少数的节点); 拖慢整个Job执行时间(其他已经完成的节点都在等这个还在做的节点...

2019/03/21 09:57
61
spark mlilib 聚类 KMeans

一般来说,回归即是预测,分类是指有监督的学习,即要分类的样本是有标记的,类别是已知的; 聚类是指无监督的学习,样本没有标记,根据某种相似度度量,将样本聚为 K类

spark mllib 朴素贝叶斯 应用案例

朴素贝叶斯,可应用于垃圾邮件,短信的分类僵尸粉的鉴定等.下面以僵尸粉的鉴定为例

Spark 小内容

Spark 的一些内容 1.函数作用以及返回值类型 foreach flatMap 返回的迭代器的所有内容构成新的RDD 是一个序列化的数据而不是单个数据项-- a Seq map map:对集合中每个元素进行操作。 flatMa...

2019/04/11 15:26
7
机器学习总览与场景使用大全

机器学习分类,算法比较,使用场景

Spark SQL

Hive On Spark和SparkSQL都是一个翻译层 把一个SQL翻译成分布式可执行的Spark程序。而且大家的引擎都是spark。 两种方式使用SparkSQL,Spark SQL is a Spark module for structured data pro...

2019/04/11 14:56
7
分布式系统基本原理

三元组 其实,分布式系统说白了,就是很多机器组成的集群,靠彼此之间的网络通信,担当的角色可能不同,共同完成同一个事情的系统。如果按”实体“来划分的话,就是如下这几种: 节点 -- 系统...

JAVA内存泄漏和内存溢出的区别和联系

JAVA内存泄漏和内存溢出的区别和联系 1、内存泄漏memory leak : 是指程序在申请内存后,无法释放已申请的内存空间,一次内存泄漏似乎不会有大的影响,但内存泄漏堆积后的后果就是内存溢出。 ...

2019/04/09 20:56
454
hive 实战总结

hive 体系架构 启动 hive 命令行 进入hive安装目录,输入bin/hive的执行程序,或者输入 hive –service cli hive脚本的执行方式大致有三种 hive可以直接敲hive命令进入interactive模式,直接...

2019/04/10 10:36
96
tensorflow 之 卷积神经网络

应用场景 图像识别与检索 人脸识别 性别/年龄/情绪识别 物体检测 视频处理 语音分析 概述 一般一个卷积神经网络由多个卷积层构成,在卷基层内部通常会有如下几个操作: 图像通过多个卷积核滤...

Spark 内存管理

Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。 理解 Spark 内存管理的基本原理,有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳...

2019/03/19 17:48
14
tensorflow 之循环神经网络

应用场景: 应用于语音识别 语音翻译 机器翻译 RNN RNN(Recurrent Neural Networks,循环神经网络)不仅会学习当前时刻的信息,也会依赖之前的序列信息。 由于其特殊的网络模型结构解决了信息...

中级 Linux 用户非常有用的 20 个命令

linux 中级 命令

2016/02/18 19:22
207
深度学习——激活函数Sigmoid/Tanh/ReLU

激活函数(Activation Function)的特点: 非线性: 当激活函数是线性的时候,一个两层的神经网络就可以逼近基本上所有的函数了。 可微: 当优化方法是基于梯度的时候,这个性质是必须的。 单调...

2019/04/11 20:58
34
http之头域

每个头域由一个域名,冒号(:)和域值三部分组成。域名是大小写无关的,域值前可以添加任何数量的空格符,头域可以被扩展为多行,在每行开始处,使用至少一个空格或制表符。 1、请求信息: ...

2015/11/26 13:58
105
linux 常用命令总结

新手非常有用的20个命令 1. ls命令 ls命令是列出目录内容(List Directory Contents)的意思。运行它就是列出文件夹里的内容,可能是文件也可能是文件夹。 “ls -l”命令已详情模式(long listi...

数据分层

1.数据计算层 01.数据计算层-主要考虑方面 计算平台:离线数据计算 实时数据计算 管理:元数据模型整合和应用、 数据表的规范命名 存储元数据: 运行数据: 2.计算的数据分层:数据加工链路 ...

2019/04/11 16:11
13
http之解决HTTP无状态协议4种方法

HTTP无状态协议,状态保存方法

2015/11/26 14:02
3.8K
算法回顾

第一章:算法简介 二分查找: log10100相当于问“将多少个10相乘 的结果为100,答案是两个:10 × 10 = 100。因此,log10100 = 2。 算法效率: 总结: 二分查找的速度比简单查找快得多。 O(...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部