hadoop3种集群方式
hadoop3种集群方式
乐搏学院 发表于6个月前
hadoop3种集群方式
  • 发表于 6个月前
  • 阅读 17
  • 收藏 0
  • 点赞 0
  • 评论 0

标题:腾讯云 新注册用户域名抢购1元起>>>   

 hadoop3种集群方式包括独立模式、伪分布式模式和完全分布式模式

  1独立模式

安装

  a)下载jdk-8u65-linux-x64.tar.gz

  b)tar开

  $>su centos ; cd ~

  $>mkdir downloads

  $>cp /mnt/hdfs/downloads/bigdata/jdk-8u65-linux-x64.tar.gz ~/downlooads

  $>tar -xzvf jdk-8u65-linux-x64.tar.gz

  c)创建/soft文件夹

  $>sudo mkdir /soft

  $>sudo chown centos:centos /soft

  d)移动tar开的文件到/soft下

  $>mv ~/downloads/jdk-1.8.0_65 /soft/

  e)创建符号连接

  $>ln -s /soft/jdk-1.8.0_65 /soft/jdk

  f)验证jdk安装是否成功

  $>cd /soft/jdk/bin

  $>./java -version

配置jdk环境变量

  1.编辑/etc/profile

  $>sudo nano /etc/profile

  ...

  export JAVA_HOME=/soft/jdk

  exprot PATH=$PATH:$JAVA_HOME/bin

  2.使环境变量即刻生效

  $>source /etc/profile

  3.进入任意目录下,测试是否ok

  $>cd ~

  $>java -version

  注意点

  你创建文件夹一定和你登陆的用户一致

安装HADOOP软件

   1.安装hadoop

  a)下载hadoop-2.7.3.tar.gz

  b)tar开

  $>su centos ; cd ~

  $>cp /mnt/hdfs/downloads/bigdata/hadoop-2.7.3.tar.gz ~/downloads

  $>tar -xzvf hadoop-2.7.3.tar.gz

  c)无

  d)移动tar开的文件到/soft下

  $>mv ~/downloads/hadoop-2.7.3 /soft/

  e)创建符号连接

  $>ln -s /soft/hadoop-2.7.3 /soft/hadoop

  f)验证hadoop安装是否成功

  $>cd /soft/hadoop/bin

  $>./hadoop version

  2.配置hadoop环境变量

  $>sudo nano /etc/profile

  ...

  export JAVA_HOME=/soft/jdk

  exprot PATH=$PATH:$JAVA_HOME/bin

  export HADOOP_HOME=/soft/hadoop

  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  3.生效

  $>source /etc/profile

  4.进入任意目录下,测试是否ok

  $>cd ~

  $>hadoop version

  5.nothing !

  不需要启用单独的hadoop进程。

  6.hafs dfs -ls /home 和 linux中的ls效果一样

伪分布模式(Pseudodistributed mode)

  a)进入${HADOOP_HOME}/etc/hadoop目录

  三种模式共存

   1.创建三个配置目录,内容等同于hadoop目录

   ${hadoop_home}/etc/local

   ${hadoop_home}/etc/pesudo

   ${hadoop_home}/etc/full

   2.创建符号连接

   $>ln -spesudo hadoop

  b)编辑core-site.xml

  <?xml version="1.0"?>

  <configuration>

  <property>

  <name>fs.defaultFS</name>

  <value>hdfs://localhost/</value>

  </property>

  </configuration>

  c)编辑hdfs-site.xml

  <?xml version="1.0"?>

  <configuration>

  <property>

  <name>dfs.replication</name>

  <value>1</value>

  </property>

  </configuration>

  d)编辑mapred-site.xml

  注意:cp mapred-site.xml.template mapred-site.xml

  <?xml version="1.0"?>

  <configuration>

  <property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

  </property>

  </configuration>

  e)编辑yarn-site.xml

  <?xml version="1.0"?>

  <configuration>

  <property>

  <name>yarn.resourcemanager.hostname</name>

  <value>localhost</value>

  </property>

  <property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

  </property>

  </configuration>

  配置:core-site.xml hdfs-site.xmls yarn-site.xml mapred-site.xml

   f)配置SSH

登录乐搏学院官网http://www.learnbo.com/

或关注我们的官方微博微信,还有更多惊喜哦~

共有 人打赏支持
粉丝 5
博文 526
码字总数 707467
×
乐搏学院
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: