一次KUDU调优经历

原创
2017/04/12 11:48
阅读数 4.4K

现象:

在一次ETL过程中,将关系型数据库oracle中数据同步到kudu数据库中,开始的两个小时还算正常,

  1. 集群网络IO 总和 : 150M / 每秒
  2. kudu工作负荷达到:10万次插入或更新 / 每秒

过了两个小时后这两个指数迅速下降:

  1. 集群网络IO 总和 : 10M / 每秒
  2. kudu工作负荷达到:0.1万次插入或更新 / 每秒

并且集群磁盘IO总和也从 500M / 每秒 上升到 900M / 每秒

解决:

调整参数 

memory_limit_hard_bytes 默认值为 1G 调整到10G

block_cache_capacity_mb 默认值为 512M调整到5G

调整后正常

原理:

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部