加载中
【袋鼠云内推】杭州-高级java开发-3~5以及5年以上

袋鼠云是杭州玳数科技有限公司旗下品牌,成立于2016年,是一家由多名前阿里巴巴资深技术人士创立的技术服务公司,主要业务聚焦大数据使用场景研发,深耕DI(Data Intelligence数据智能)领域,...

spark-JVM调优原理

性能调优 常规性能调优:分配资源、并行度。。。等 JVM调优(Java虚拟机):JVM相关的参数,通常情况下,如果你的硬件配置、基础的JVM的配置,都可以的话,JVM通常不会造成太严重的性能问题;...

2016/10/29 18:55
485
1.微服务基本概念

该系列文章来源于 学习《极客时间——从0开始学习微服务》分享之后笔记载录和读后感。 作者胡忠想,微博技术专家。 从 2012 年加入微博到现在,从 2012 年加入微博到现在,我一直在做微博首页...

【设计模式专题】Singleton

单例模式,是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例的特殊类。通过单例模式可以保证系统中,应用该模式的类一个类只有一个实例。即一个类只有一个对象实例。 饿汉式...

2018/09/27 12:05
18
2.微服务架构组件分析

该系列文章来源于 学习《极客时间——从0开始学习微服务》分享之后笔记载录和读后感。 作者胡忠想,微博技术专家。 从 2012 年加入微博到现在,从 2012 年加入微博到现在,我一直在做微博首页...

troubleshooting 解决yarn-cluster模式的JVM栈内存溢出问题

公司里面你的机器节点一般都是虚拟机啊!所以yarn-client会有网络激增的问题!Yarn-client模式可以跑,但是Yarn-cluster模式不能跑,就是报那么一个JVM永久代溢出的那么一个问题! spark-su...

2016/10/30 17:38
269
spark-调节executor堆外内存

spark底层shuffle的传输方式是使用netty传输,netty在进行网络传输的过程会申请堆外内存,所以使用了堆外内存!

2016/10/29 16:03
1.6K
Impala(多图手机用户慎入,理论+实践)

Cloudera公司推出,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive使用内存计算,兼顾数据仓库、具有实时、批处理、多并发等优点是CDH平台首选的PB级大数据实时查询分...

2016/09/21 23:11
1.6K
搜索引擎-elasticsearch(二)

Elasticsearch分片查询 默认是randomize across shards 随机选取,表示随机的从分片中取数据 local:指查询操作会优先在本地节点有的分片中查询,没有的话再在其它节点查询。 _primary:指查...

2016/09/24 15:04
32
spark-kryo序列化(spark优化点)

以我的经验来看啊,这个kryo序列化并没有对性能优化产生决定性的影响啊,虽然包括官网都在大力的推崇这个,实际上这个东西性能的提升肯定有!但不是决定性作用的!

2016/10/29 19:14
1.6K
搜索引擎-elasticsearch(一)

Elasticsearch是一个基于Lucene的实时的分布式搜索和分析引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便,基于RESTful接口。 –普通请求是:get?a=1 –rest请求...

2016/09/24 13:45
60
5-Hadoop之旅-Hive(一)

Hive能做什么? Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低...

2016/09/12 22:11
102
troubleshooting yarn-client模式导致的网卡流量激增问题

很多公司都是通过Yarn来进行调度,mapreduce on yarn、spark on yarn、甚至storm on yarn。 Yarn集群分成两种节点: ResourceManager负责资源的调度; NodeManager负责资源的分配、应用程序执...

2016/10/30 17:21
67
2-Hadoop学习之旅-MapReduce

Mapreduce是一个计算框架,既然是做计算的框架,那么表现形式就是有个输入(input),mapreduce操作这个输入(input),通过本身定义好的计算模型,得到一个输出(output),这个输出就是我们...

2016/09/10 23:42
122
8-Storm

storm是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,由Twitter开源官网http://storm.apache.org/。Sto...

2016/10/08 22:03
36
1-Hadoop学习之旅-HDFS

Hadoop简介(2.5.1版本) 分布式存储系统HDFS(Hadoop Distributed File System) 分布式存储系统 提高了高可靠性、高扩展性和高吞吐率的数据存储服务 分布式计算框架MapReduce 分布式计算框...

2016/09/10 22:03
29

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部