Hadoop的伪分布式布局

原创
2014/04/28 22:11
阅读数 73

1.hadoop的伪分布安装
1.1.使用root用户,密码是hadoop登录的。
1.2.修改linux的ip地址
    操作:(1)在linux桌面的右上角图标,右击,选择Edit Connections...
       选择ipv4的手工方式设置ip为192.168.80.100,掩码255.255.255.0,网管是192.168.80.1
     一步步保存退出。
    (2)在终端执行命令service network restart
 验证:执行命令ifconfig
1.3.windows下使用PieTTY进行远程连接
    操作:(1)设置VMware的网络连接方式为host-only
          (2)保证windows下的网络连接VMnet1启用状态,并且设置其ip地址为192.168.80.1。
    验证:使用PieTTY进行远程连接
1.4.设置hostname
    操作:修改文件vi /etc/sysconfig/network 
       把hostname改为hadoop0
    保存退出。
    验证:重启linux
1.5.ip与hostname绑定
    操作:修改文件vi /etc/hosts,增加一行代码,如下
        192.168.80.100 hadoop0
    验证:ping hadoop0
1.6.关闭防火墙
    操作:执行命令service iptables stop
    验证: 执行命令service iptables status
1.7.关闭防火墙的自动运行
    操作:执行命令chkconfig iptables off
    验证:执行命令chkconfig --list|grep iptables
1.8.使用SSH进行免密码登录
    操作:(1)产生密钥,执行命令ssh-keygen -t rsa,产生的密钥文件位于~/.ssh文件夹中
      (2)执行命令cp   ~/.ssh/id_rsa.pub   ~/.ssh/authorized_keys
 验证:ssh localhost
1.9.安装jdk
    操作:(1)把jdk放到/usr/local目录下,然后cd  /usr/local目录下
      (2)赋予执行权限 chmod u+x jdk-6u24-linux-i586.bin
         (3)使用./jdk-6u24-linux-i586.bin进行解压缩
   (4)重命名,执行命令 mv  jdk1.6.0_24  jdk
   (5)设置环境变量,编辑文件vi /etc/profile,增加两行记录
       export JAVA_HOME=/usr/local/jdk
    export PATH=.:$JAVA_HOME/bin:$PATH
    保存退出
   (6)执行命令source /etc/profile
 验证:执行命令java -version
1.10.安装hadoop
    操作:(1)解压缩,命令tar -zxvf hadoop-1.1.2.tar.gz
       (2)重命名,命令mv hadoop-1.1.2 hadoop
    (3)设置环境变量,修改vi /etc/profile
       export HADOOP_HOME_WARN_SUPPRESS=1
       export JAVA_HOME=/usr/local/jdk
    export HADOOP_HOME=/usr/local/hadoop
    export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
    保存退出
    (4)执行命令source /etc/profile
    (5)修改hadoop的目录$HADOOP_HOME/conf目录下的配置文件
       <1>编辑文件hadoop-env.sh
       修改第9行  export JAVA_HOME=/usr/local/jdk
    <2>编辑文件core-site.xml
     <configuration>
      <property>
       <name>fs.default.name</name>
       <value>hdfs://hadoop0:9000</value>
       <description>change your own hostname</description>
      </property>
      <property>
       <name>hadoop.tmp.dir</name>
       <value>/usr/local/hadoop/tmp</value>
      </property> 
     </configuration>
    <3>编辑文件hdfs-site.xml
     <configuration>
      <property>
       <name>dfs.replication</name>
       <value>1</value>
      </property>
      <property>
       <name>dfs.permissions</name>
       <value>false</value>
      </property>
     </configuration>   
    <4>编辑文件mapred-site.xml
     <configuration>
      <property>
       <name>mapred.job.tracker</name>
       <value>hadoop0:9001</value>
       <description>change your own hostname</description>
      </property>
     </configuration>   
    (6)格式化文件系统,执行命令hadoop namenode -format
    (7)启动,执行start-all.sh
  验证:(1)执行jps,发现5个新的java进程,分别是NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker
       (2)通过浏览器查看,访问http://hadoop0:50070或者http://hadoop0:50030查看
       在windows上修改文件C:\Windows\System32\drivers\etc\hosts
1.11 启动hadoop是出错的常见错误
    (1)command not found
    (2)unknonw hostname hadoop0
                
 
     
      
 
 
 
 

2.VMWare的网络连接方式
2.1 host-only,linux与windows使用专用网络,与外网物理隔离。
2.2 bridge,linux直接接入到windows所在的网络中,linux可以与其他机器通信。
 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部