文档章节

Hadoop学习记录

傅小水water
 傅小水water
发布于 2017/04/07 16:12
字数 1231
阅读 3
收藏 0

#第一章、安装Linux服务器 本教程安装的是CentOS系统。 安装完VMware虚拟机后,运行虚拟机,点击“创建新的虚拟机”,选择典型安装模式,点机下一步。 输入图片说明
选择下载的镜像文件,点下一步。 输入图片说明
用户名不能使用root,root是Linux保留的最高权限用户,填写完成点下一步。 输入图片说明
选择虚拟机保存出的路径,点下一步。 输入图片说明
配置虚拟机硬盘大小,点下一步。 输入图片说明
在这一步,点击自定义硬件,可以自定义配置虚拟机的各项数据,配置完点完成,启动虚拟机开始安装。 输入图片说明

#第二章、Hadoop的伪分布安装 伪分布安装的环境是:CentOS系统和Windows 7系统,在VMware上安装CentOS系统与Windows通过host-only的方式组网。 ##Linux环境配置
Host-only方式组网需要在Windows上开启VM虚拟网卡,并设置静态IP。
CentOS的用户名:root,密码:tank
Windows的网络,VMware Network Adapter VMnet1

  • 1、在CentOS上设置静态IP。
    在System菜单下选择Network Connections,双击System ech0,选择IPv4 Settings选项卡,Method选择Manual(静态),然后新增一条IP记录,填写IP地址、子网掩码、网关,点击应用。
    输入图片说明
  • 2、打开CentOS终端,重启网卡。
    输入命令:service network restart。
    验证:使用ifconfig查看IP地址是否更改生效。
    输入图片说明
    输入图片说明
  • 3、修改主机名,主机名相当于域名,用来访问该主机的名字。
    查看主机名,命令:hostname。
    修改主机名有两种方法:
    A: 修改当前会话主机名,命令是hostname <主机名>。
    B: 修改配置文件,是永久性的修改,在vi /etc/sysconfig/network,把hostname改成hadoop。
    输入图片说明
    输入图片说明
  • 4、把hostname与ip绑定。
    执行命令vi /etc/hosts,在最下面新增一行内容,如下:192.168.40.100 hadoop,保存退出。
    验证:ping hadoop,如果有包返回则修改成功。
    输入图片说明
    输入图片说明
    输入图片说明
  • 5、关闭防火墙和关闭防火墙的自动启动。
    <1> 查看防火墙命令:service iptables status。
    <2> 关闭防火墙命令:service iptables stop。
    验证是否关闭:service iptables status。

    <3> 查看防火墙是否自动启动:chkconfig --list | grep iptables。
    <4> 关闭防火墙自动启动:chkconfig iptables off。
    验证防火墙是否自动启动:chkconfig --list | grep iptables,全部是off则为成功。
  • 6、设置SSH(Secure Shell)的免密码登陆。首先生成密钥,然后把密钥复制一份,名字为authorized_keys【必须为该名字,登录时会读取该文件】。
    <1> 执行命令 ssh-keygen –t rsa 产生密钥,一直回车即可,密钥位于 ~/.ssh/id_rsa.pub
    <2> 执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
    验证:ssh localhost
    输入图片说明
    输入图片说明
    输入图片说明
    ##安装JDK <1> 执行命,rm -rf /usr/local/* 删除所有内容。
    <2> 使用WinSCP工具把jdk-6u45-linux-x64.bin传送到CentOS的/user/local文件夹下。
    <3> 执行命令,chmod u+x jdk-6u45-linux-x64.bin,给jdk-6u45-linux-x64.bin文件赋予执行权限。
    <4> 执行命令,./ jdk-6u45-linux-x64.bin 解压缩。
    <5> 执行命令,mv jdk-6u45-linux-x64.bin jdk 重命名
    <6> 执行命令,vi /etc/profile 设置环境变量,在空白处增加两行内容
    export JAVA_HOME=/usr/local/jdk
    export PATH=.:$JAVA_HOME/bin:$PATH
    <7> 执行命令,source /etc/profile 让该设置立即生效
    验证:执行命令,java –version
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明

安装Hadoop

<1> 使用WinSCP工具把jdk-6u45-linux-x64.bin传送到CentOS的/user/local文件夹下。
<2> 执行命令,tar -zxvf hadoop-1.2.1.tar.gz 解压缩Hadoop。
<3> 执行命令,mv hadoop-1.2.1 hadoop,修改文件名称
<3> 执行命令,vi /etc/profile 设置环境变量

export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

<4> 执行命令,source /etc/profile 让配置立即生效
<5> 修改hadoop的配置文件,位于$HADOOP_HOME/conf文件夹下。

【注:可以用WinSCP工具直接进行修改】  
【注:配置文件中不允许出现中文,否则无法执行】   
【hadoop 环境变量脚本文件hadoop-env.sh】  
        A: 把行首的‘#’号删掉  
        B: export JAVA_HOME=/usr/local/jdk。  

【hadoop 核心配置文件core-site.xml】

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop:9000</value>
    </property>
</configuration>

【hdfs 配置文件hdfs-site.xml】

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

【MapReduce 配置文件mapred-site.xml】

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoop:9001</value>
    </property>
</configuration>

<6> 执行命令,hadoop namenode -format 对hadoop进行格式化。
<7> 执行命令,start-all.sh,启动hadoop,总共有五个进程启动。分别是namenode、datanode、secondarynamenode、jobtracker、tasktracker。
验证:执行命令,jps,显示上面五个进程就启动成功了。
<8> 通过Linux浏览器访问:http://hadoop:50070http://hadoop:50030
【windows下访问,需要修改C:\Windows\System32\drivers\etc\hosts文件,对IP和域名进行绑定】。
<9> NameNode进程没有启动成功。

(1)	没有格式化。
(2)	配置文件只copy,不修改。
(3)	Hostname和ip没有绑定。
(4)	SSH免密码登录没有配置成功 

<10> 多次格式化hadoop也是错误的。
方法:删除/usr/local/hadoop/tmp文件夹,重新格式化。
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明

© 著作权归作者所有

共有 人打赏支持
傅小水water
粉丝 1
博文 29
码字总数 18093
作品 0
杭州
私信 提问
Mahout安装与配置笔记

一、硬件环境 操作系统:Linux ubuntu-13.04-desktop-i386 jdk安装版本:jdk-7u51-linux-i586 Hadoop版本:Hadoop-1.1.1(一个Namenode,三个Datanode部署) 二、安装步骤 在Mahout安装之前读...

kartik
2014/06/01
0
0
eclipse编译hadoop源码

由于开发mapreduce的时候,有时需要看源码,再次down下来,编译了下,仅作为学习记录 首先需要安装ant,svn(我用的是eclipse的插件); svn地址:http://svn.apache.org/repos/asf/hadoop/co...

东岸往事
2013/01/05
0
0
相关插件

在学习Hadoop过程中,接触到的适合我们的插件在这里做个记录

zhushaojun65
2015/06/23
0
1
Linux命令行下运行Hadoop单元测试

最近在学习Hadoop,在虚拟机上面的Centos系统下搭建了一个单机的Hadoop系统,对照《Hadoop权威指南》一边看一边运行里面的例子。由于大部分程序员都是用Eclipse来开发Hadoop程序,但我习惯于...

chyileon
2013/05/29
0
0
求指教!!!Hadoop的乱码问题如何解决?

今天本来打算写java虚拟机的学习记录的。 但是在工作室里做任务时,出现了一个乱码问题,现在也还没有很好的解决办法,所以写出来让大家交流一下,以求好办法。 我们搭建了个由5台机器的Had...

seng
2013/06/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

[Spring4.x]基于spring4.x纯注解的Web工程搭建

在前文中已经说明了如何基于 Spring4.x+ 版本开发纯注解的非web项目,链接如下: https://my.oschina.net/morpheusWB/blog/2985600 本文则主要说明,如何在Web项目中,"基于spring纯注解方式...

morpheusWB
23分钟前
3
0
基础编程题目集-7-13 日K蜡烛图

股票价格涨跌趋势,常用蜡烛图技术中的K线图来表示,分为按日的日K线、按周的周K线、按月的月K线等。以日K线为例,每天股票价格从开盘到收盘走完一天,对应一根蜡烛小图,要表示四个价格:开...

niithub
39分钟前
3
0
Jenkins window 下的安装使用

1.下载:https://jenkins.io/download/ 双击安装完毕,将自动打开浏览器: http://localhost:8080 打开对应位置的文件,将初始密钥粘贴至输入框。 第一个是 安装默认的软件;第二个是 自定义...

狼王黄师傅
41分钟前
1
0
深入解析react关于事件绑定this的四种方式

这篇文章主要介绍了详解react关于事件绑定this的四种方式,写的十分的全面细致,具有一定的参考价值,对此有需要的朋友可以参考学习下。如有不足之处,欢迎批评指正。 在react组件中,每个方...

前端攻城小牛
50分钟前
2
0
JS正则表达式

url的正则表达式:包括IP,域名(domain),ftp,二级域名,域名中的文件,域名加上端口!用户名等等信息 `function` `IsURL(str_url) {``var` `strRegex =``"^((https|http|ftp|rtsp|mm...

前端小攻略
54分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部