加载中
hdfs运维中遇到的问题记录

开个帖子一点点记录下运维中遇到的问题 1.Cannot lock storage /hadoop/journal/current. The directory is already locked. 排查发现该目录权限不对,不知被谁改了,改回来重启即可...

2017/09/13 20:14
19
device eth0 does not seem to be present, delaying 

这个问题一般在克隆虚拟机的时候出现 原因是ifcfg-eth0的配置文件里保存了以前的MAC地址,就把这一行删除掉在重启网卡,还是一样的错误,随后网上查了下资料,把/etc/udev/rules.d/70-persis...

2016/07/05 15:45
15
linux学习(零) 硬件知识补充

对计算机硬件知识一直处于似懂非懂的尴尬境地,在这里总结一下常见参数,以后遇到干货慢慢补充。 CPU: 架构上分: i586,x86,x86_64 指令集: RISC(精简指令集),CISC(复杂指令集) 厂商不同,...

2016/07/05 00:26
43
Hbase原理以及基本运行方式和优化

HBase是一个构建在HDFS上的分布式列存储系统; HBase是基于Google BigTable模型开发的,典型的key/value系统; HBase是Apache Hadoop生态系统中的重要一员,主要用于海量非结构化数据存储; ...

2016/06/12 11:12
345
shell学习(三)运算符

算术运算符列表 三点注意: 1.表达式和运算符之间要有空格,例如 2+2 是不对的,必须写成 2 + 2,这与我们熟悉的大多数编程语言不一样。 2.完整的表达式要被 ` ` 包含,注意这个字符不是常用...

2016/05/09 13:50
46
shell学习(二)变量

定义变量   your_name="mozhiyan"   echo $your_name   echo ${your_name} 定义只读变量 readonly variable_name #!/bin/bash myUrl="http://see.xidian.edu.cn/cpp/shell/" readonl...

2016/05/09 12:01
36
linux学习(二) linux档案权限

1.身份分类 档案可存取的身份分类是owner/group/thers,且三种身份各有read/write/execute等权限。 2. ls -al结果各栏概述 [root@openresty etc]# ls -al total 1188 drwxr-xr-x. 63 r...

2016/04/22 01:12
51
linux学习(一) linux磁盘相关

一 设备命名 装置 装置在 Linux 内癿文件名 IDE 硬盘机 /dev/hd[a-d] SCSI/SATA/USB硬盘机 /dev/sd[a-p] USB 快闪碟 /dev/sd[a-p](与 SATA 相同) 软盘驱劢器 /dev/fd[0-1] 打印机 25 针: /de...

2016/04/18 22:32
60
Exchanger 交换器

//Exchanger可以在两个线程之间交换数据,只能是2个线程,他不支持更多的线程之间互换数据。 //当线程A调用Exchange对象的exchange()方法后,他会陷入阻塞状态,直到线程B也调用了exchange(...

2016/04/04 22:15
31
CyclicBarrier循环屏障

一个同步辅助类,它允许一组线程互相等待,直到到达某个公共屏障点 (common barrier point)。 在涉及一组固定大小的线程的程序中,这些线程必须不时地互相等待,此时 CyclicBarrier 很有用。...

2016/04/04 21:55
9
CountDownLatch

一个同步辅助类,在完成一组正在其他线程中执行的操作之前,它允许一个或多个线程一直等待。 用给定的计数 初始化 CountDownLatch。由于调用了 countDown() 方法,所以在当前计数到达零之前,...

2016/04/04 21:19
13
Semaphore信号量

一个计数信号量。从概念上讲,信号量维护了一个许可集合。如有必要,在许可可用前会阻塞每一个 acquire(),然后再获取该许可。每个 release() 添加一个许可,从而可能释放一个正在阻塞的获取...

2016/04/04 21:18
11
scala学习笔记(一)入门初探

1. 值和变量 val answer = 8 * 5 + 2 //定义值,不可改变,鼓励定义值少定义变量 var counter = 0 counter = 1 //定义变量,可以改变 val greeting: String = null//指定...

2016/03/29 19:02
37
Kafka学习(一)基本概念

介绍 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。 这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: Kafka将...

2016/03/25 10:17
86
hive,sqoop定时执行脚本举例

hive: #! /bin/sh  date="$1"  enddate=`date -d "+1 day $2" +%Y-%m-%d`  while [[ $date < $enddate  ]]    do      echo "${date} HIVE 数据处理开始..."  ...

2016/03/24 22:37
88
shell学习(一)hello world

1 hello world #!/bin/bash echo "Hello World !" “#!” 是一个约定的标记,它告诉系统这个脚本需要什么解释器来执行,即使用哪一种Shell。echo命令用于向窗口输出文本。 2 运行Shell脚本...

2016/03/24 20:46
45
hadoop常用shell脚本总结

配置文件: deploy.conf: node1,all,namenode, node2,all,namenode, node3,all,slave, node4,all,slave, node5,all,slave, 1 分发 #!/bin/bash #set -x if [ $# -lt 3 ] then    ...

2016/03/24 17:45
51
hbase面试题汇总

先收藏,后面一点点汇总添加 1、一个Hadoop环境,整合了Hbase和Hive,是否有必要给HDFS和Hbase都分别配置压缩策略?请给出对压缩策略的建议。 2、Hadoop和Hbase等组件会互相竞争资源,如果需...

2016/03/24 15:11
595
hadoop面试记录(三)

这个题目博主当时悲剧的全空着没填,贴出来供大家参考,有经验的欢迎留言分享 1 简述对hadoop的理解,包括系统架构和hadoop整个生态系统,详细介绍工作中曾用到过的 2 介绍数据加工处理经验,...

2016/03/23 23:44
69
hadoop面试记录(二)

最近面试面试题,回答自己总结的,有不对的地方欢迎大家留言指正 1 hadoop中配置文件有哪些,各自作用? hadoop-env.sh      JAVA_HOME,HADOOP_CONF_DIR,HADOOP_LOG_DIR,HADOOP_PID_...

2016/03/22 23:29
270

没有更多内容

加载失败,请刷新页面

返回顶部
顶部