Hadoop学习记录
Hadoop学习记录
傅小水water 发表于8个月前
Hadoop学习记录
  • 发表于 8个月前
  • 阅读 2
  • 收藏 0
  • 点赞 0
  • 评论 0

#第一章、安装Linux服务器 本教程安装的是CentOS系统。 安装完VMware虚拟机后,运行虚拟机,点击“创建新的虚拟机”,选择典型安装模式,点机下一步。 输入图片说明
选择下载的镜像文件,点下一步。 输入图片说明
用户名不能使用root,root是Linux保留的最高权限用户,填写完成点下一步。 输入图片说明
选择虚拟机保存出的路径,点下一步。 输入图片说明
配置虚拟机硬盘大小,点下一步。 输入图片说明
在这一步,点击自定义硬件,可以自定义配置虚拟机的各项数据,配置完点完成,启动虚拟机开始安装。 输入图片说明

#第二章、Hadoop的伪分布安装 伪分布安装的环境是:CentOS系统和Windows 7系统,在VMware上安装CentOS系统与Windows通过host-only的方式组网。 ##Linux环境配置
Host-only方式组网需要在Windows上开启VM虚拟网卡,并设置静态IP。
CentOS的用户名:root,密码:tank
Windows的网络,VMware Network Adapter VMnet1

  • 1、在CentOS上设置静态IP。
    在System菜单下选择Network Connections,双击System ech0,选择IPv4 Settings选项卡,Method选择Manual(静态),然后新增一条IP记录,填写IP地址、子网掩码、网关,点击应用。
    输入图片说明
  • 2、打开CentOS终端,重启网卡。
    输入命令:service network restart。
    验证:使用ifconfig查看IP地址是否更改生效。
    输入图片说明
    输入图片说明
  • 3、修改主机名,主机名相当于域名,用来访问该主机的名字。
    查看主机名,命令:hostname。
    修改主机名有两种方法:
    A: 修改当前会话主机名,命令是hostname <主机名>。
    B: 修改配置文件,是永久性的修改,在vi /etc/sysconfig/network,把hostname改成hadoop。
    输入图片说明
    输入图片说明
  • 4、把hostname与ip绑定。
    执行命令vi /etc/hosts,在最下面新增一行内容,如下:192.168.40.100 hadoop,保存退出。
    验证:ping hadoop,如果有包返回则修改成功。
    输入图片说明
    输入图片说明
    输入图片说明
  • 5、关闭防火墙和关闭防火墙的自动启动。
    <1> 查看防火墙命令:service iptables status。
    <2> 关闭防火墙命令:service iptables stop。
    验证是否关闭:service iptables status。

    <3> 查看防火墙是否自动启动:chkconfig --list | grep iptables。
    <4> 关闭防火墙自动启动:chkconfig iptables off。
    验证防火墙是否自动启动:chkconfig --list | grep iptables,全部是off则为成功。
  • 6、设置SSH(Secure Shell)的免密码登陆。首先生成密钥,然后把密钥复制一份,名字为authorized_keys【必须为该名字,登录时会读取该文件】。
    <1> 执行命令 ssh-keygen –t rsa 产生密钥,一直回车即可,密钥位于 ~/.ssh/id_rsa.pub
    <2> 执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
    验证:ssh localhost
    输入图片说明
    输入图片说明
    输入图片说明
    ##安装JDK <1> 执行命,rm -rf /usr/local/* 删除所有内容。
    <2> 使用WinSCP工具把jdk-6u45-linux-x64.bin传送到CentOS的/user/local文件夹下。
    <3> 执行命令,chmod u+x jdk-6u45-linux-x64.bin,给jdk-6u45-linux-x64.bin文件赋予执行权限。
    <4> 执行命令,./ jdk-6u45-linux-x64.bin 解压缩。
    <5> 执行命令,mv jdk-6u45-linux-x64.bin jdk 重命名
    <6> 执行命令,vi /etc/profile 设置环境变量,在空白处增加两行内容
    export JAVA_HOME=/usr/local/jdk
    export PATH=.:$JAVA_HOME/bin:$PATH
    <7> 执行命令,source /etc/profile 让该设置立即生效
    验证:执行命令,java –version
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明

安装Hadoop

<1> 使用WinSCP工具把jdk-6u45-linux-x64.bin传送到CentOS的/user/local文件夹下。
<2> 执行命令,tar -zxvf hadoop-1.2.1.tar.gz 解压缩Hadoop。
<3> 执行命令,mv hadoop-1.2.1 hadoop,修改文件名称
<3> 执行命令,vi /etc/profile 设置环境变量

export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

<4> 执行命令,source /etc/profile 让配置立即生效
<5> 修改hadoop的配置文件,位于$HADOOP_HOME/conf文件夹下。

【注:可以用WinSCP工具直接进行修改】  
【注:配置文件中不允许出现中文,否则无法执行】   
【hadoop 环境变量脚本文件hadoop-env.sh】  
        A: 把行首的‘#’号删掉  
        B: export JAVA_HOME=/usr/local/jdk。  

【hadoop 核心配置文件core-site.xml】

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop:9000</value>
    </property>
</configuration>

【hdfs 配置文件hdfs-site.xml】

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

【MapReduce 配置文件mapred-site.xml】

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoop:9001</value>
    </property>
</configuration>

<6> 执行命令,hadoop namenode -format 对hadoop进行格式化。
<7> 执行命令,start-all.sh,启动hadoop,总共有五个进程启动。分别是namenode、datanode、secondarynamenode、jobtracker、tasktracker。
验证:执行命令,jps,显示上面五个进程就启动成功了。
<8> 通过Linux浏览器访问:http://hadoop:50070http://hadoop:50030
【windows下访问,需要修改C:\Windows\System32\drivers\etc\hosts文件,对IP和域名进行绑定】。
<9> NameNode进程没有启动成功。

(1)	没有格式化。
(2)	配置文件只copy,不修改。
(3)	Hostname和ip没有绑定。
(4)	SSH免密码登录没有配置成功 

<10> 多次格式化hadoop也是错误的。
方法:删除/usr/local/hadoop/tmp文件夹,重新格式化。
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明

标签: Hadoop
共有 人打赏支持
粉丝 2
博文 15
码字总数 9369
×
傅小水water
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: