文档章节

一次KUDU调优经历

balajinima
 balajinima
发布于 2017/04/12 11:48
字数 172
阅读 1194
收藏 0

现象:

在一次ETL过程中,将关系型数据库oracle中数据同步到kudu数据库中,开始的两个小时还算正常,

  1. 集群网络IO 总和 : 150M / 每秒
  2. kudu工作负荷达到:10万次插入或更新 / 每秒

过了两个小时后这两个指数迅速下降:

  1. 集群网络IO 总和 : 10M / 每秒
  2. kudu工作负荷达到:0.1万次插入或更新 / 每秒

并且集群磁盘IO总和也从 500M / 每秒 上升到 900M / 每秒

解决:

调整参数 

memory_limit_hard_bytes 默认值为 1G 调整到10G

block_cache_capacity_mb 默认值为 512M调整到5G

调整后正常

原理:

 

© 著作权归作者所有

balajinima
粉丝 4
博文 12
码字总数 22112
作品 0
西城
高级程序员
私信 提问
如何合理的规划一次jvm性能调优

这是jvm优化系列第三篇: jvm优化——垃圾回收 jvm优化——监控工具 JVM性能调优涉及到方方面面的取舍,往往是牵一发而动全身,需要全盘考虑各方面的影响。但也有一些基础的理论和原则,理解...

wier
2017/10/25
5K
9
Kudu - 在快数据上的进行快分析的存储

去年Cloudera发布了一个新的Hadoop生态系统上的存储Kudu,那我就花些时间啃一下Cloudera关于Kudu的论文,解析一下这个Kudu是个什么鬼吧? Kudu,对应中文的含义应该是非洲的一种带条纹的大羚...

TalkingData
2016/01/26
1K
0
从传统运维到云运维演进历程之软件定义存储(二)

上回书说到一般企业使用Ceph会经历几个关卡:硬件选型 —— 部署调优—— 性能测试 架构灾备设计 —— 部分业务上线测试 —— 运行维护(故障处理、预案演练等)。 今天来重点讲下部署调优关...

Devin
2016/09/20
0
0
做Linux背锅2年,我总结了这六类好习惯和30个血的教训

从事运维一年半,遇到过各式各样的问题,数据丢失,网站挂马,误删数据库文件,黑客攻击等各类问题 今天想简单整理一下,分享给各位小伙伴 一、线上操作规范 1.测试使用 当初学习Linux的使用...

sunday208
2017/07/18
0
0
笔者带你剖析大规模分布式Java平台JVM性能调优基础

前言 其实说到对JVM进行性能调优早已是一个老生常谈的话题,如果你所在的技术团队还暂时达不到淘宝团队那样的高度,无法满足在OpenJDK的基础之上根据自身业务进行针对性的二次开发和定制调优...

丢失的羊羔
2016/03/25
179
0

没有更多内容

加载失败,请刷新页面

加载更多

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二)

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二) List 类型的操作 1、 向列表左侧添加数据 Long leftPush = redisTemplate.opsForList().leftPush("name", name); 2、 向列表右......

TcWong
今天
7
0
排序––快速排序(二)

根据排序––快速排序(一)的描述,现准备写一个快速排序的主体框架: 1、首先需要设置一个枢轴元素即setPivot(int i); 2、然后需要与枢轴元素进行比较即int comparePivot(int j); 3、最后...

FAT_mt
昨天
4
0
mysql概览

学习知识,首先要有一个总体的认识。以下为mysql概览 1-架构图 2-Detail csdn |简书 | 头条 | SegmentFault 思否 | 掘金 | 开源中国 |

程序员深夜写bug
昨天
10
0
golang微服务框架go-micro 入门笔记2.2 micro工具之微应用利器micro web

micro web micro 功能非常强大,本文将详细阐述micro web 命令行的功能 阅读本文前你可能需要进行如下知识储备 golang分布式微服务框架go-micro 入门笔记1:搭建go-micro环境, golang微服务框架...

非正式解决方案
昨天
8
0
前端——使用base64编码在页面嵌入图片

因为页面中插入一个图片都要写明图片的路径——相对路径或者绝对路径。而除了具体的网站图片的图片地址,如果是在自己电脑文件夹里的图片,当我们的HTML文件在别人电脑上打开的时候图片则由于...

被毒打的程序猿
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部