文档章节

0000 0000 、Hadoop 环境搭建

BlueAnt007
 BlueAnt007
发布于 2017/06/24 23:12
字数 1151
阅读 6
收藏 0
点赞 0
评论 0

一、安装JDK

在linux命令行中,先敲入 命令 来查看系统上是否有安装 jak

javac

如果 没有 ,我们就要安装JDK
ubuntu下

apt-get install openjdk-7-jdk

centOS下

yum install *jdk-7*

安装完成后,我们开始配置jdk 的环境变量

 打开 /etc/profile  进行修改,添加以下信息【注意 安装目录可能会有所不同】
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

保存, 输入命令 生效

source /etc/profile

二、 配置hadoop

1 下载hadoop 安装包
      【
                由于库中没有,我们使用源来下载 :  http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
       】
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
   我们把这个压缩包一到/opt/目录下
mv hadoop-1.2.1.tar.gz /opt/
  来到 /opt/目录下后  我们解压缩
tar -zxvf hadoop-1.2.1.tar.gz

2 打开解压缩的目录进行配置
我们要配置的文件 在conf 目录下,要配置的有4个文件

1) 打开 hadoop-env.sh 文件,配置 JAVA_HOME 的更新, 要和上文中配置的环境变量 JAVA_HOME 一致
【指定Hadoop要用的JDK 环境变量,守护进程JDK 选项,pid文件和log文件夹】

vim hadoop-env.sh //进行配置

2) 打开 core-site.xml 文件,
【指定与Hadoop守护进程和客户端相关参数的XML文件】【主要配置 】

<configuration>
<!-- 设置hadoop的工作目录 -->
<property>
     <name>hadoop.tmp.dir</name>
     <value>/hadoop</value>
</property>

<!-- fs.default.name - 这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号),集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册,这样它们的数据才可以被使用。独立的客户端程序通过这个URI跟DataNode交互,以取得文件的块列表。-->
<property>
     <name>fs.default.name</name>
     <value >hdfs://localhost:9000</value>     <!-- 这里 localhost 应填写当前主机的hostname, 请根据现实情况进行配置,这里我配置为本地-->
</property>

</configuration>

3) 打开hdfs-site.xml
【指定HDFS守护进程和客户端要用的参数的XML文件】【主要配置 】

<configuration>
<!-- 配置文件系统的数据存放目录 -->
<property>
     <name>dfs.daya.dir</name>
     <value >/hadoop/data</value>
</property>

</configuration>
4)打开mapred-site.xml
 【指定MapReduce守护进程和客户端要用的参数的XML文件 】【主要配置 】
<configuration>
<!-- 设置HDFS中每个Block块被复制的次数 -->
<property>
     <name>dfs.replication</name>
     <value>1</value>
</property>

<!-- 设置将HDFS文件系统的元信息的保存目录 -->
<property>
     <name>dfs.name.dir</name>
     <value>/hadoop/name</value>
</property>

<!-- 配置任务调度器的访问 -->
<property>
     <name>mapred.job.tracker</name>
      <value>localhost:9001</value >
</property>

</configuration>

下面是其他配置文件的说明
log4j.properties
【一个包含所有日志配置信息的java属性文件】

 masters
 【在新行中列出运行 次NameNode 的机器,只会被satrt-*。sh类的脚本调用】

 slavers
 【在新行中列出运行DataNode / tasktracker进程对的服务器名,只会被satrt-*。sh类的脚本调用】

 fair-scheduler
 【用来指定资源库,设置MapRduce的Fari Scheduler 任务调度器插件】

 capacity-scheduker
 【曾经用来指定MaoReduce Caoacity Scheduler 任务调度插件的队列和设置】

 dfs.include
 【在新行中列出允许连接NameNode的服务器名】

 hadoop-policy
 【用来定义和Hadoop通信时,哪个用户和哪个组允许调用指定的RPC功能的XML文件】

 mapred-queue-acls
 【定义哪个用户和哪个组被允许提交作业到哪个MapReduce作业队列的XML文件】

 taskcontroller.cfg
 【类似于Java属性风格的文件,定义了在安全模式下操作时所用到的MapReduce辅助程序 setuid task-controller 要用的值】

5)配置hadoop的环境变量,打开/etc/profile 文件进行添加HADOOP的安装路径 配置,配置完成后,使它生效
export HADOOP_HOME=/opt/hadoop-1.2.1
在PATH 里面加入了 :$HADOOP_HOME/bin

#让配置生效

 source /etc/profile

3 对namenode 进行格式化操作

hadoop namenode -format

输入 :start-all.sh 命令后可能会出现 【root@localhost’s password:localhost:permission denied,please try again 错误】
解决方案,使用试试免密登录,设置收重新 格式化 namenode ,start-all

设置ssh 免密,移步下面这篇博客
http://www.cnblogs.com/qiangweikang/p/4740936.html

4 使用 jps 查看前所有java进程pid的,如果有以下进程, 说明我们的hadoop启动成功

jps是JDK 1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。
这里写图片描述
这里写图片描述
这里写图片描述
小结

1) 在Linux中安装JDK, 并设置环境变量
2)下载Hadoop,并设置Hadoop的环境变量
3)修改Hadoop的配置文件

© 著作权归作者所有

共有 人打赏支持
BlueAnt007
粉丝 4
博文 10
码字总数 13003
作品 0
东城
程序员
Mar 13 15:42:51 hadoop01 kernel: Command line: BOOT_IMAGE=/vmlinuz-3.10.0-514.10.2.el7.x86_64 root=/dev/mapp

journalctl -- Logs begin at Mon 2017-03-13 15:42:51 CST, end at Wed 2017-03-15 14:26:15 CST. -- Mar 13 15:42:51 hadoop01 systemd-journal[105]: Runtime journal is using 8.0M (max......

sca7
2017/03/15
99
0
KVM虚拟化笔记(六)------kvm虚拟机的克隆

kvm虚拟机的克隆分为两种情况:kvm主机本机虚拟机直接克隆和通过复制配置文件与磁盘文件的虚拟机复制克隆。接下来我们一一进行测试: (一)kvm主机虚拟机的直接克隆 1,查看虚拟机的配置文件...

科技小能手
2017/11/12
0
0
玩转大数据-如何搭建Hbase集群

对于全分布式的HBase安装,需要通过hbase-site.xml文档来配置本机的HBase特性,由于各个HBase之间通过zookeeper来进行通信,因此需要维护一组zookeeper系统,关于zookeeper的安装使用,参考《...

丁小晶
2016/08/16
0
0
kvm在线扩展根目录/空间

一、添加磁盘 物理机上操作: 1.1、创建磁盘 1.2、 给虚拟机添加磁盘 1.3、 虚拟机上检查磁盘 grep -i disk Disk /dev/sda: 53.7 GB, 53687091200 bytes Disk identifier: 0x0007c952 Disk ...

哓竹
2016/07/16
34
0
SpringBoot+Dubbo实现一个简单的RPC

搭建一个基于spingboot+dubbo的“用户Rpc服务” 环境配置 jdk1.8、maven3.5、zookeeper3.4 maven模块 user-api : 服务接口, 定义服务接口和方法, 模块会打成jar包被服务实现者和调用者依赖 ...

零二一七
05/14
0
0
问题记录:[Sqoop]

Sqoop在导入MySQL数据时遇到Timestamp列为空时报错,解决方法是:在JDBC连接后加上?zeroDateTimeBehavior=convertToNull Sqoop在导入MySQL数据时遇到Timestamp列为空时报错,解决方法是:在J...

孤岛旭日
2016/01/29
129
0
Java 私塾第一、二章笔记整理

Java 私塾第一、二章笔记整理 第一章 java入门 一.Java是什么? 一种计算机编程语言 一种软件开发平台 一种软件运行平台(JRE :java runtime environment) 一种软件部署环境 二.Java版本:...

luodis
2011/01/14
222
2
centos6.2 64 部署docker

centos6.2 64 部署docker 安装docker yum源: yum install http://mirrors.yun-idc.com/epel/6/i386/epel-release-6-8.noarch.rpm [root@yz6245 yum.repos.d]# yum install docker-io Loaded......

Wilson9527
2016/09/23
0
0
win7下安装docker的坑

1、win7使用toolbox安装docker,下载地址:https://get.daocloud.io/toolbox/ 2、安装toolbox,启动Oracle VM VirtualBox报错处理 Failed to instantiate CLSIDVirtualBox w/ IVirtualBox, ......

326647452
2017/05/16
0
0
Java集合之HashMap源码解析

Java集合系列的源码解析,分析代码的版本均为:Sun JDK1.7 这篇文章fuck的是HashMap,为什么先选择它呢,因为Android开发中最常用的数据集合就是HashMap和ArrayList,这里先Fuck HashMap。 ...

GeneralAndroid
2017/11/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

RESTful API 设计规范

关于「能愿动词」的使用 为了避免歧义,文档大量使用了「能愿动词」,对应的解释如下: 必须 (MUST):绝对,严格遵循,请照做,无条件遵守; 一定不可 (MUST NOT):禁令,严令禁止; 应该 (S...

niithub
12分钟前
0
0
Spring Cloud云服务架构 - common-service 项目过程构建

我们将对common-service整个项目进行剖析,将整个构建的流程给记录下来,让更多的关注者来参考学习。 首先在构建spring cloud的common-service之前,我们需要准备的技术: Maven(项目构建)...

itcloud
13分钟前
0
0
oracle 如何查看日志?

Oracle日志查看一.Oracle日志的路径:登录:sqlplus "/as sysdba"查看路径:SQL> select * from v$logfile;SQL> select * from v$logfile;(#日志文件路径)二.Oracle日...

youfen
14分钟前
0
0
sap netweaver developer studio安装svn插件

问题 我现在在Sap的IDE(netweaver developer studio)上面安装svn插件。 步骤 确定IDE使用的eclipse版本 Help→About SAP NetWeaver Developer Studio→Installation Details→Features→F...

亚林瓜子
20分钟前
0
0
大数据开发学习的内容介绍,成都大数据培训机构哪里好?

大数据开发培训已经成为了越来越多人的选择,大数据开发工程师也是各公司争相争夺的金领人才之一了,在当今科技发展非常迅速的社会里,越来越多人把职业规划投向了大数据开发。这里为大家整理...

加米谷大数据
25分钟前
2
0
函数

函数 函数是Python中最主要也是最重要的代码组织和复用手段。作为最重要的原则,如果你要重复使用相同或非常类似的代码,就需要写一个函数。通过给函数起一个名字,还可以提高代码的可读性。...

火力全開
27分钟前
0
0
gulp-webserverf启动服务,局域网无法访问

如题,gulp-server启动的服务,只能本机访问,局域网通过ip无法访问; 启动的其它项目,均可以访问成功; 网上资源,很多说什么防火墙之类的问题,都无果; 只需要给启动服务添加参数即可, ...

littleFaye
29分钟前
0
0
RabbitMQ实战:5种模式和示例

应用RabbitMQ的5种队列 一、简单队列 P:消息的生产者 C:消息的消费者 红色:队列 生产者实现思路: 创建连接工厂ConnectionFactory,设置服务地址127.0.0.1,端口号5672,设置用户名、密码...

spinachgit
30分钟前
0
0
mysql常见报错标号对应原因以及处理方法

mysql常见报错标号以及对应解决方法 报错标号 报错现象 解决方法 原因 1449 Cause: java.sql.SQLException: The user specified as a definer ('authplat_dev'@'%') does not exist 在控制台...

ChinaHYF
32分钟前
0
0
Java 监控系统技术选型

(1)操作系统监控 Sigar oshi (2)Tomcat监控 JMX 日志 (3)Oracle监控 日志 直连SQL查询 基于Druid连接池 (4)拓扑图 jtopo http://www.jtopo.com/demo/statictis.html...

cccyb
33分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部