加载中
Hadoop job提交源码分析

从如下地方开始,就要进行job的提交了 boolean isSuccess = job.waitForCompletion(true); 之后,进入Job类的waitForCompletion方法。 public boolean waitForCompletion(boolean verbose ...

2015/10/28 23:01
37
HBase快照

什么是快照 快照就是一份元信息的合集,允许管理员恢复到表的先前状态,快照不是表的复制而是一个文件名称列表,因而不会复制数据。 完全快照恢复是指恢复到之前的“表结构”以及当时的数据,...

2016/11/10 11:53
93
hbase启动regionserver出现端口冲突

但是实际上 使用start-hbase.sh 脚本启动regionserver还是会报端口冲突问题,可能通过这个脚本启动程序存在问题。没有深究看源码。 该问题可以通过 使用单独的regionserver启动脚本程序启动r...

2016/11/09 14:57
61
hbase启动 Could not find or load main class .usr.java.packages.lib.amd64:.usr.lib64:.lib64:

hbase启动的时候,提示找不到usr.java.packages.lib.amd64:.usr.lib64:.lib64 从提示可以看出来,hbase貌似找什么平台相关的二进制文件等等。看起来,像是java.library.path问题 看hbase启动...

2016/11/09 14:53
1K
004 Nginx日志管理

每个虚拟主机,可以配置access_log来记录日志信息。不同的sever可以有不同的log access_log logs/host.access.log main 格式main。可以自定义其他格式。在http段可以自定义日志格式,例如,l...

2016/08/13 17:50
12
003 Nginx虚拟主机配置

子进程个数,worker_processes ,个数等于CPU数*核数 Event{ worker_connectioins 设置一个子进程最大允许多少个连接} http{}段中的server是虚拟主机配置 listen 监听端口,80端口访问时候可...

2016/08/13 17:22
8
002 Nginx信号

启动nginx之后,如果想平滑的停止,等操作,如何处理?通过信号。 nginx分成master进程和多个子进程,主进程不想用浏览器请求,而是管理和控制多个子进程, kill -INT 主进程pid 则杀死所有n...

2016/08/13 16:44
13
001 Nginx的编译安装

wget下载 tar解压 yum install pcre pcre-dev, nginx依赖pcre实现重写 进去解压后目录 configure --prefix=/usr/local/nginx 指定安装目录 make && make install 配置环境变量 path目录 启动...

2016/08/13 16:07
11
Git安装

yum install git 编译安装的步骤是【4】: (1)首先先更新系统 sudo yum update (2)安装依赖的包 sudo yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc...

2016/07/27 14:48
11
Heka编译安装

官方文档:http://hekad.readthedocs.io/en/v0.10.0/installing.html Prerequisites (all systems): CMake 3.0.0 or greater http://www.cmake.org/cmake/resources/software.html Git http:...

2016/07/27 14:29
182
让Heka支持lua的io操作和os操作

Heka本身编译之后,不支持lua的io操作,貌似是影响什么sandbox机制。详情,https://mail.mozilla.org/pipermail/heka/2015-November/000882.html。 Hrm. There's a *lot* of code and compl...

2016/07/26 16:18
54
Heka同一个文件滚动读取rolling read FilePollingInput

针对一个文件,周期性质的去读取内容,无buffer的读取,典型应用 1,内存使用情况读取 [hekad] maxprocs = 2 [MemStats] type = "FilePollingInput" ticker_interval = 1 file_path = "/proc...

2016/07/22 18:33
19
Heka的一些计算过程数据存放目录

默认位置: /var/cache/hekad 包括读取kafka的offsets存储等等

2016/07/22 18:23
22
一个input配置多个decorder,生成多分数据,放到不同的地方,即一份数据,以不同的形式存储

继续使用nginx input的例子。 decoder本省之间无法传递数据,但是可以多个同时被一个input使用,进而实现一份数据产生多个结果。 MultiDecoder 可以实现多个 [hekad] maxprocs = 2 #一个输入...

2016/07/22 17:24
30
Heka nginx input

负责解析nginx产生的log数据,分成access,error等不同的日志数据格式。这里只例举出access的日志数据。 180.153.206.18 - - [17/Jul/2016:00:00:04 +0800] "GET /static/bootstrap/bsie/js...

2016/07/22 16:31
179
ElasticSearch2.3版本启动后,外部无法通过head插件访问,机器内部却可以访问

es2.3启动以后,机器内部,都能正常查看和使用,但是在外部通过head等插件无法访问,原因在于es2.3 之后,使用了ipv6, 最好显示指定给一个ipv4的地址,这样外面就能够通过head访问了...

2016/07/22 09:53
10
KafkaInput & esoutput

heka从kalka中读取数据。 配置: [hekad] maxprocs = 2 [KafkaInputExample] type = "KafkaInput" topic = "test" addrs = ["localhost:9092"] [RstEncoder] [LogOutput] message_matcher = ...

2016/07/21 17:44
10
HttpInput

配置如下,httpinput用来搜集http请求连接返回的数据。 [hekad] maxprocs = 2 [HttpInput] url = "http://www.bejson.com/" ticker_interval = 5 success_severity = 6 error_severity = 1 ...

2016/07/21 16:34
5
Mapreduce RCFile写入和读取API示例

RCFile是FaceBook开发的高压缩比、高效读的行列存储结构。通常在Hive中可以直接对一张Text表使用insert-select转换,但有时希望使用Mapreduce进行RCFile的读写。 <dependency> <groupId>org....

2016/07/14 18:06
75
Spark与Flink:对比与分析

Spark是一种快速、通用的计算集群系统,Spark提出的最主要抽象概念是弹性分布式数据集(RDD),它是一个元素集合,划分到集群的各个节点上,可以被并行操作。用户也可以让Spark保留一个RDD在内...

2016/07/14 16:59
88

没有更多内容

加载失败,请刷新页面

返回顶部
顶部