加载中
[Spark][翻译]Spark内存分析模型(<=1.5版本)

spark内存分析模型(<=1.5版本)-无原文版本 背景 分析spark的内存模型,文章来源于 https://0x0fff.com/spark-architecture/ 这里为了阅读流畅,把原文英文去除了,大家有疑问可以对照查看。...

标准差

计算过程: 简易口诀:离均差平方和的平均;方均根。 例如,对于一个有六个数的数集2,3,4,5,6,8,其标准差可通过以下步骤计算: (1)计算平均值: (2 + 3 + 4 + 5+ 6 + 8)/6 = 30 /6 = 5 (...

2017/04/21 14:48
47
离散统计算法概览

离散概念 一组数字都是一样的,离散性为0,多种多样则有越大 统计离散的方法 Standard deviation 标准差 Interquartile range (IQR) 四分位数范围(IQR) Range 范围 Mean absolute differen...

2017/04/21 14:40
164
离线统计:aad算法 mad算法

总览 Average absolute deviation(平均值绝对偏差)=Mean absolute deviation (平均值绝对偏差) ,这里记为aad算法 Median absolute deviation(中位数绝对偏差) ,这里记为mad算法 Mean abs...

2017/04/21 14:18
1.2K
几个scala的类型:Option Some None,Any AnyRef AnyVal Null,Noting,Nil

顶级类:Any Any的子类:AnyRef、AnyVal AnyRef的子类:Null AnyVal的子类:java的值类型Byte | Short Int Long | Float Double | Char String | Boolean | Unit Null可以赋值给所有的引用类...

2016/09/21 01:46
520
[MapReduce] Hadoop1.x和Hadoop2.x的MapReduce架构区别

前言 hadoop2.x对于计算框架进行改变,这里做一个对比,方便深入的了解mapreduce的运行机制,从而为后面的计算优化做好铺垫。 架构图 hadoop 1.x ...

2016/09/08 17:13
738
[Nginx][笔记]Keepalived\LVS\Nginx\tomcat 经典基本架构演变过程

Keepalived\LVS\Nginx\tomcat 经典架构演变过程-需要一定基础 Nginx 背景问题: 如上图所示,正常情况下,我们直接访问tomcat一台服务器,但是并发量增多的情况下,需要设置多台tomcat来分流...

2016/09/04 10:18
1K
[Spark][翻译]Spark 架构: Shuffle过程分析

Spark Architecture: Shuffle Spark架构:Shuffle This is my second article about Apache Spark architecture and today I will be more specific and tell you about the shuffle, one o...

2016/09/02 01:25
167
[杂谈]2010年,即6年前,我的代码风格

http://download.csdn.net/detail/a775901421/2675977 这是2010-09-07在大学宿舍,当时是“捣鼓”的一个生成验证码代码。 大家下载使用感觉不错,现在还有人在下载。 成为我后来CSDN上下载积...

2016/09/01 16:39
114
[Spark]Spark core的算子总结

转换过滤算子 map : (map flatMap mapPartitions mapPartitionWithIndex) filter ByKey算子 分组:groupByKey 排序:sortByKey 统计:countByKey reduce处理:(reduce reduceBy...

2016/09/01 11:25
159
[Hadoop][笔记]4个节点搭建Hadoop2.x HA测试集群

搭建Hadoop2.x HA 1.机器准备 虚拟机 4台 10.211.55.22 node1 10.211.55.23 node2 10.211.55.24 node3 10.211.55.25 node4 2.四台主机节点安排 node namenode datanode zk zkfc jn rm appli...

2016/08/22 15:26
305
[Spark]Spark RDD的join和cogroup算子示例

一. 背景 在spark rdd转换算子中join和cogroup是有些需要区分的算子转换,这里使用示例来说明一下。 二. 示例 1.构建List示例数据 List<Tuple2<Integer, String>> studentsList = Arrays.as...

[HDFS]HDFS优化-小文件合并.md

hdfs优化-小文件合并 一.背景 hdfs的namenode存储元数据,包含fsimage(存储文件的owership和permissions,文件包含哪些blockid),block保存在哪个datanode,这些信息在启动后加载到内存,所以如...

[Java][开源项目]支持excel几百列配置化方式,导成List<VO>的工具,方便开发

周末的时候 将excel导出相关的功能整理了一下,发布成一个开源工具,看下方介绍: 地址:http://git.oschina.net/duololo/epf 功能说明 将excel中的行数据,导入成List<VO>,主要应对n多列导...

2016/03/22 17:59
161
[前端]react:ant-design的demo

前端技术日新月异,从研究jquery api之后,后面很少关注前端技术了。 最近研究了ant-design,它是基于react搭建的组件库,弄了两个demo, 第一个是根据官网开发流程弄的,基于淘宝成熟的前端...

2016/02/03 23:33
1.5K

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部