加载中
2.微服务架构组件分析

该系列文章来源于 学习《极客时间——从0开始学习微服务》分享之后笔记载录和读后感。 作者胡忠想,微博技术专家。 从 2012 年加入微博到现在,从 2012 年加入微博到现在,我一直在做微博首页...

spark-调节executor堆外内存

spark底层shuffle的传输方式是使用netty传输,netty在进行网络传输的过程会申请堆外内存,所以使用了堆外内存!

2016/10/29 16:03
7.3K
Impala(多图手机用户慎入,理论+实践)

Cloudera公司推出,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive使用内存计算,兼顾数据仓库、具有实时、批处理、多并发等优点是CDH平台首选的PB级大数据实时查询分...

2016/09/21 23:11
2.6K
spark-kryo序列化(spark优化点)

以我的经验来看啊,这个kryo序列化并没有对性能优化产生决定性的影响啊,虽然包括官网都在大力的推崇这个,实际上这个东西性能的提升肯定有!但不是决定性作用的!

2016/10/29 19:14
2.4K
spark-数据本地性

场景: Spark在Driver上,对Application的每一个stage的task,进行分配之前,都会计算出每个task要计算的是哪个分片数据,RDD的某个partition;Spark的task分配算法,优先,会希望每个task正...

2016/10/29 18:30
1.4K
spark-JVM调优原理

性能调优 常规性能调优:分配资源、并行度。。。等 JVM调优(Java虚拟机):JVM相关的参数,通常情况下,如果你的硬件配置、基础的JVM的配置,都可以的话,JVM通常不会造成太严重的性能问题;...

2016/10/29 18:55
1K
troubleshooting 解决yarn-cluster模式的JVM栈内存溢出问题

公司里面你的机器节点一般都是虚拟机啊!所以yarn-client会有网络激增的问题!Yarn-client模式可以跑,但是Yarn-cluster模式不能跑,就是报那么一个JVM永久代溢出的那么一个问题! spark-su...

2016/10/30 17:38
815
LVS

负载均衡解决方案 硬件解决方案 FB BIG-IP Citrix NetScaler A10 软件解决方案 四层:传输层 LVS能够在第四层对IP和端口进行配置,不能感知上层的协议 七层:应用层http(http ajp https......

LVS
2016/09/17 10:15
750
1.微服务基本概念

该系列文章来源于 学习《极客时间——从0开始学习微服务》分享之后笔记载录和读后感。 作者胡忠想,微博技术专家。 从 2012 年加入微博到现在,从 2012 年加入微博到现在,我一直在做微博首页...

2-Hadoop学习之旅-MapReduce

Mapreduce是一个计算框架,既然是做计算的框架,那么表现形式就是有个输入(input),mapreduce操作这个输入(input),通过本身定义好的计算模型,得到一个输出(output),这个输出就是我们...

2016/09/10 23:42
233
troubleshooting 解决算子函数返回NULL导致问题

在算子函数中,返回null return actionRDD.mapToPair(new PairFunction<Row, String, Row>() {     private static final long serialVersionUID = 1L;                  @...

2016/10/30 17:48
200
Nginx与Serssion一致性问题

http协议是无状态的,即你连续访问某个网站100次和访问1次对服务器来说是没有区别的,因为它记不住你。那么在一些场合,确实需要服务器记住当前用户怎么办?比如用户登录邮箱后,接下来要收邮...

2016/09/10 18:09
173

没有更多内容

加载失败,请刷新页面

返回顶部
顶部