文档章节

Impala资源管理

China_OS
 China_OS
发布于 2017/03/10 18:41
字数 420
阅读 340
收藏 0

    impala在查询时,是全部资源可用才会执行查询语句,不过有时候某个不友好的查询语句会导致整个集群负载飙升,所以我们需要限制impala的资源使用。不同CDH版本推荐的资源管理方案不太一样。本文以CDH 5.10为例。

Creating Static Service Pools

        通过Cloudera Manager分配整个hadoop集群的资源。包括CPU、IO、memory。对于使用CLI的我直接放弃(主要是没找到CLI配置方法)

Using Admission Control

        动态资源配置解释:

            1    Max Running Queries: 队列中允许的最大查询数量

            2    Max Memory Resources: 资源池中的查询允许使用的最大内存。 此值在许可时使用,并且不在查询运行时强制执行。

            3    Default Query Memory Limit: 定义每个查询可在每个节点上分配的最大内存量。 这在运行时强制执行。 如果查询尝试使用更多内存,它被强制溢出。 否则,它被取消。 查询可以使用的总内存是MEM_LIMIT乘以节点数。

            4    Max Queued Queries: 在拒绝其他查询之前,可以在池中排队的查询的最大数量。

            5    Queue Timeout: 查询在队列中等待的最大时间

Setting Per-query Memory Limits

        设置每个查询可用的内存,可以设置set MEM_LIMIT=Xg查询变量

Creating Dynamic Resource Pools

        需要Admission Control来配合

Tips

    也可以在impalad启动的时候设置查询变量和相关值,这些设置控制impalad在查询时的行为。

-default_query_options='option=value,option=value,...'

        ps:impalad的启动变量看这里

 

资源控制详情请看这里

© 著作权归作者所有

下一篇: Impala Shell
China_OS
粉丝 427
博文 463
码字总数 519985
作品 0
静安
技术主管
私信 提问
管理 Impala(部分翻译)

管理 Impala 作为管理员,你应监视 Impala 的资源使用情况,必要时采取行动以保证 Impala 平衡运行,避免与统一集群里的其他 Haoopd 组件冲突。当检测到已发生或将发生的问题时,你应重新配置...

weiqingbin
2013/12/17
1K
0
Impala源码之资源管理与资源隔离

本文由 网易云 发布 前言 Impala是一个MPP架构的查询系统,为了做到平台化服务,首先需要考虑就是如何做到资源隔离,多个产品之间尽可能小的甚至毫无影响。对于这种需求,最好的隔离方案无疑...

wangyiyungw
2018/05/07
0
0
基于Impala平台打造交互查询系统

本文来自网易云社区 原创: 蒋鸿翔 DataFunTalk 本文根据网易大数据蒋鸿翔老师DataFun Talk——“大数据从底层处理到数据驱动业务”中分享的《基于Impala平台打造交互查询系统》编辑整理而成...

网易云
2018/08/30
0
0
CCA Spark and Hadoop Developer (CCA175) 公开课信息

CCA Spark and Hadoop Developer (CCA175) 开发者认证 认证准备建议:Spark andHadoop开发者培训 考试形式:120分钟;70%通过;解决10~12基于CDH5机群上需通过实际操作的问题 线上:长期开课...

CDHandHadoop
2017/05/09
0
0
Impala内存优化实战案例

一. 引言 Hadoop生态中的NoSQL数据分析三剑客Hive、HBase、Impala分别在海量批处理分析、大数据列式存储、实时交互式分析各有所长。尤其是Impala,自从加入Hadoop大家庭以来,凭借其各个特点...

Zero零_度
2016/06/08
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

浅谈java过滤器Filter

一、简介 Servlet中的过滤器Filter是实现了javax.servlet.Filter接口的服务器端程序,主要的用途是过滤字符编码、做一些业务逻辑判断如是否有权限访问页面等。其工作原理是,只要你在web.xml...

青衣霓裳
20分钟前
3
0
技术产品研发型企业的发展困境

目前中小企业想要发展自己的业务,必须使用到底层架构技术,于是企业多采用三种技术方案,一、招相关技术人员,并为之长期投入技术成本;二、使用相关开源技术框架,并培养相关业务人员;三、...

数蚕
44分钟前
5
0
《2019网络安全行业人才发展研究报告》出炉

随着大安全时代的到来,网络安全已经从虚拟空间延伸到现实空间。当今网络战愈演愈烈,网络军备赛即将来临。网络空间领域的战争归根到底还是人才的竞争。面对新形势,建立高效的网络安全人才培...

360网络安全大学
46分钟前
1
0
酒德利商城开发程序逻辑

<textarea name="Content" rows="2" cols="20" id="Content" class="t14" style="font-family:宋体;font-size:10.5pt;"></textarea> 酒德利商城开发zhao·I5OI3I5I74O微/电,酒德利批发零售,......

洋哥说
56分钟前
2
0
十款强大的IDEA插件-Java开发者的利器

xl_echo编辑整理,欢迎转载,转载请声明文章来源。欢迎添加echo微信(微信号:t2421499075)交流学习。 百战不败,依不自称常胜,百败不颓,依能奋力前行。——这才是真正的堪称强大!! 插件一...

xlecho
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部