加载中
Ambari2.2.1.0 + HDP2.4 + HUE 安装

Ambari2.2.1.0 + HDP2.4 + HUE环境搭建 一、前言 数据团队Hadoop集群目前只有线上环境,测试缺失使得有些流程上不通,例如ETL测试环境、平常依赖HDP组件的开发等等。以及后续线上集群升级测试...

2017/07/17 22:51
193
spring-data管理HbaseTemplate connection 坑之源码分析

一、背景: 使用spring xml配置管理初始化HbaseTemplate,并使用HbaseTemplate API时存在bug,每次查询都会建立connection,这样会存在并发查询的时候大量时间浪费在connection建立上。 spri...

2017/07/13 21:12
1K
Flume通用配置

一、前言 因Flume通过配置的方式去采集日志,所以存在不灵活的情况,但Flume日志模型中除了日志body部分,还提供header,以及一些通配符的操作让配置更加灵活。 此篇文档讲介绍通用配置。 二...

2017/07/07 16:48
59
Kafka消息监控

前言 搭建好kafka集群之后,需要知道kafka的topic、 consumer group 等消息消费、生产数据监控。恰好在GitHub上找到了一个干这种事情的工具。 KafkaOffsetMonitor运行比较简单,因为所有运行...

2017/05/04 23:29
170
HDP运维-kafka log.dirs变更

###场景 HDP通过Ambari安装如果不单独更改kafka的日志路径,默认是会写入机器的系统盘,但由于系统盘的磁盘空间有限,需要切换。 ###kafka存储日志清除 有两种方式,一种是按时间清除通过配置...

2017/05/04 22:59
129
shell脚本输入两个时间范围参数,输出范围段内所有天。

shell脚本接受时间范围段参数,例如2017-05-01 ~ 2017-05-05,输出 2017-05-01、2017-05-02、2017-05-03、2017-05-04、2017-05-05所有天数。 start=`date --date="$1" +%s` ...

2017/05/04 11:07
81
Maven Jar包冲突解决

使用mvn强大的依赖树关系命令,找出冲突的jar所对应的包 mvn dependency:tree -Dverbose (此命令可以打印全部的依赖)。 有的时候项目依赖太多,想过滤自己想要的或者不想要的可以通过以下命...

2017/05/04 10:52
18
Flume源码学习知识储备

持续更新中。。。。

2017/05/03 22:31
16

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部