加载中
hdfs运维中遇到的问题记录

开个帖子一点点记录下运维中遇到的问题 1.Cannot lock storage /hadoop/journal/current. The directory is already locked. 排查发现该目录权限不对,不知被谁改了,改回来重启即可...

2017/09/13 20:14
515
device eth0 does not seem to be present, delaying 

这个问题一般在克隆虚拟机的时候出现 原因是ifcfg-eth0的配置文件里保存了以前的MAC地址,就把这一行删除掉在重启网卡,还是一样的错误,随后网上查了下资料,把/etc/udev/rules.d/70-persis...

2016/07/05 15:45
102
Hbase原理以及基本运行方式和优化

HBase是一个构建在HDFS上的分布式列存储系统; HBase是基于Google BigTable模型开发的,典型的key/value系统; HBase是Apache Hadoop生态系统中的重要一员,主要用于海量非结构化数据存储; ...

2016/06/12 11:12
397
shell学习(三)运算符

算术运算符列表 三点注意: 1.表达式和运算符之间要有空格,例如 2+2 是不对的,必须写成 2 + 2,这与我们熟悉的大多数编程语言不一样。 2.完整的表达式要被 ` ` 包含,注意这个字符不是常用...

2016/05/09 13:50
65
linux学习(二) linux档案权限

1.身份分类 档案可存取的身份分类是owner/group/thers,且三种身份各有read/write/execute等权限。 2. ls -al结果各栏概述 [root@openresty etc]# ls -al total 1188 drwxr-xr-x. 63 r...

2016/04/22 01:12
134
scala学习笔记(一)入门初探

1. 值和变量 val answer = 8 * 5 + 2 //定义值,不可改变,鼓励定义值少定义变量 var counter = 0 counter = 1 //定义变量,可以改变 val greeting: String = null//指定...

2016/03/29 19:02
79
Kafka学习(一)基本概念

介绍 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。 这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: Kafka将...

2016/03/25 10:17
111
hive,sqoop定时执行脚本举例

hive: #! /bin/sh  date="$1"  enddate=`date -d "+1 day $2" +%Y-%m-%d`  while [[ $date < $enddate  ]]    do      echo "${date} HIVE 数据处理开始..."  ...

2016/03/24 22:37
493
shell学习(一)hello world

1 hello world #!/bin/bash echo "Hello World !" “#!” 是一个约定的标记,它告诉系统这个脚本需要什么解释器来执行,即使用哪一种Shell。echo命令用于向窗口输出文本。 2 运行Shell脚本...

2016/03/24 20:46
80
hadoop常用shell脚本总结

配置文件: deploy.conf: node1,all,namenode, node2,all,namenode, node3,all,slave, node4,all,slave, node5,all,slave, 1 分发 #!/bin/bash #set -x if [ $# -lt 3 ] then    ...

2016/03/24 17:45
611
hbase面试题汇总

先收藏,后面一点点汇总添加 1、一个Hadoop环境,整合了Hbase和Hive,是否有必要给HDFS和Hbase都分别配置压缩策略?请给出对压缩策略的建议。 2、Hadoop和Hbase等组件会互相竞争资源,如果需...

2016/03/24 15:11
3.2K
hadoop面试记录(三)

这个题目博主当时悲剧的全空着没填,贴出来供大家参考,有经验的欢迎留言分享 1 简述对hadoop的理解,包括系统架构和hadoop整个生态系统,详细介绍工作中曾用到过的 2 介绍数据加工处理经验,...

2016/03/23 23:44
257

没有更多内容

加载失败,请刷新页面

返回顶部
顶部