文档章节

Hadoop的伪分布式布局

村长杨京京
 村长杨京京
发布于 2014/04/28 22:11
字数 775
阅读 27
收藏 0

1.hadoop的伪分布安装
1.1.使用root用户,密码是hadoop登录的。
1.2.修改linux的ip地址
    操作:(1)在linux桌面的右上角图标,右击,选择Edit Connections...
       选择ipv4的手工方式设置ip为192.168.80.100,掩码255.255.255.0,网管是192.168.80.1
     一步步保存退出。
    (2)在终端执行命令service network restart
 验证:执行命令ifconfig
1.3.windows下使用PieTTY进行远程连接
    操作:(1)设置VMware的网络连接方式为host-only
          (2)保证windows下的网络连接VMnet1启用状态,并且设置其ip地址为192.168.80.1。
    验证:使用PieTTY进行远程连接
1.4.设置hostname
    操作:修改文件vi /etc/sysconfig/network 
       把hostname改为hadoop0
    保存退出。
    验证:重启linux
1.5.ip与hostname绑定
    操作:修改文件vi /etc/hosts,增加一行代码,如下
        192.168.80.100 hadoop0
    验证:ping hadoop0
1.6.关闭防火墙
    操作:执行命令service iptables stop
    验证: 执行命令service iptables status
1.7.关闭防火墙的自动运行
    操作:执行命令chkconfig iptables off
    验证:执行命令chkconfig --list|grep iptables
1.8.使用SSH进行免密码登录
    操作:(1)产生密钥,执行命令ssh-keygen -t rsa,产生的密钥文件位于~/.ssh文件夹中
      (2)执行命令cp   ~/.ssh/id_rsa.pub   ~/.ssh/authorized_keys
 验证:ssh localhost
1.9.安装jdk
    操作:(1)把jdk放到/usr/local目录下,然后cd  /usr/local目录下
      (2)赋予执行权限 chmod u+x jdk-6u24-linux-i586.bin
         (3)使用./jdk-6u24-linux-i586.bin进行解压缩
   (4)重命名,执行命令 mv  jdk1.6.0_24  jdk
   (5)设置环境变量,编辑文件vi /etc/profile,增加两行记录
       export JAVA_HOME=/usr/local/jdk
    export PATH=.:$JAVA_HOME/bin:$PATH
    保存退出
   (6)执行命令source /etc/profile
 验证:执行命令java -version
1.10.安装hadoop
    操作:(1)解压缩,命令tar -zxvf hadoop-1.1.2.tar.gz
       (2)重命名,命令mv hadoop-1.1.2 hadoop
    (3)设置环境变量,修改vi /etc/profile
       export HADOOP_HOME_WARN_SUPPRESS=1
       export JAVA_HOME=/usr/local/jdk
    export HADOOP_HOME=/usr/local/hadoop
    export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
    保存退出
    (4)执行命令source /etc/profile
    (5)修改hadoop的目录$HADOOP_HOME/conf目录下的配置文件
       <1>编辑文件hadoop-env.sh
       修改第9行  export JAVA_HOME=/usr/local/jdk
    <2>编辑文件core-site.xml
     <configuration>
      <property>
       <name>fs.default.name</name>
       <value>hdfs://hadoop0:9000</value>
       <description>change your own hostname</description>
      </property>
      <property>
       <name>hadoop.tmp.dir</name>
       <value>/usr/local/hadoop/tmp</value>
      </property> 
     </configuration>
    <3>编辑文件hdfs-site.xml
     <configuration>
      <property>
       <name>dfs.replication</name>
       <value>1</value>
      </property>
      <property>
       <name>dfs.permissions</name>
       <value>false</value>
      </property>
     </configuration>   
    <4>编辑文件mapred-site.xml
     <configuration>
      <property>
       <name>mapred.job.tracker</name>
       <value>hadoop0:9001</value>
       <description>change your own hostname</description>
      </property>
     </configuration>   
    (6)格式化文件系统,执行命令hadoop namenode -format
    (7)启动,执行start-all.sh
  验证:(1)执行jps,发现5个新的java进程,分别是NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker
       (2)通过浏览器查看,访问http://hadoop0:50070或者http://hadoop0:50030查看
       在windows上修改文件C:\Windows\System32\drivers\etc\hosts
1.11 启动hadoop是出错的常见错误
    (1)command not found
    (2)unknonw hostname hadoop0
                
 
     
      
 
 
 
 

2.VMWare的网络连接方式
2.1 host-only,linux与windows使用专用网络,与外网物理隔离。
2.2 bridge,linux直接接入到windows所在的网络中,linux可以与其他机器通信。
 

© 著作权归作者所有

上一篇: java mail
下一篇: java线程安全
村长杨京京
粉丝 162
博文 878
码字总数 907544
作品 0
杭州
程序员
私信 提问
好程序员大数据笔记之:Hadoop集群搭建

在学习大数据的过程中,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天集中总结以下笔记,希望对各位同学...

好程序员IT
05/21
17
0
【Hadoop】- Hadoop1.x 伪分布式环境搭建

Hadoop体系的主要组件:HDFS/MapReduce HDFS: Hadoop Distribution File System NameNode、SecondNameNode:名称节点 作用:维护Hadoop中存储数据块的相关信息,例如记录hadoop集群中某个数...

ZeroneLove
02/24
0
0
Hadoop单机版和伪分布式部署

说明:本文的hadoop安装环境为Ubuntu环境。 运行Hadoop集群的准备工作 1. 安装JDK,配置Java环境 2. SSH免登录(这一步可以忽略,但是启动hadoop的时候,需要手动为每个节点服务输入密码) 先确...

Mr_YangFei
2016/03/24
67
0
Hadoop(2015/8/19最新发行版2.7.1): 搭建一个单节点集群。官方文档翻译

根据官方文档边操作边翻译,如有谬误欢迎拍砖指正!大家一起学习。也欢迎推荐更多有用学习文档给我,谢谢! Hadoop: 搭建一个单节点集群。 Hadoop: 搭建一个单节点集群。 目的 先决条件 操作...

duty
2015/08/19
751
0
Hadoop-2.7.2配置过程(CentOS7)

参考地址: http://www.powerxing.com/install-hadoop-in-centos/ 以上地址配置过程非常详细,包括伪分布式配置与伪分布式实例。 注意事项: 1、官网提供为32位环境下的tar包,需要64位下重新...

源子
2016/08/12
15
0

没有更多内容

加载失败,请刷新页面

加载更多

全面兼容IE6/IE7/IE8/FF的CSS HACK写法

浏览器市场的混乱,给设计师造成很大的麻烦,设计的页面兼容完这个浏览器还得兼容那个浏览器,本来ie6跟ff之间的兼容是很容易解决的。加上个ie7会麻烦点,ie8的出现就更头疼了,原来hack ie...

前端老手
8分钟前
3
0
常用快递电子面单批量打印api接口对接demo-JAVA示例

目前有三种方式对接电子面单: 1.快递公司:各家快递公司逐一对接接口 2.菜鸟:支持常用15家快递电子面单打印 3.快递鸟:仅对接一次,支持常用30多家主流快递电子面单打印 目前也是支持批量打...

程序的小猿
11分钟前
5
0
Yii 框架中rule规则必须搭配验证函数才能使用

public $store_id;public $user_id;public $page;public $limit;public $list;public $mch_list;public $cart_id;public $is_community;public $shop_id;public $cart_typ......

chenhongjiang
13分钟前
2
0
Flutter使用Rammus实现阿里云推送

前言: 最近新的Flutter项目有“阿里云推送通知”的需求,就是Flutter的App启动后检测到有新的通知,点击通知栏然后跳转到指定的页面。在这里我使用的是第三方插件Rammus来实现通知的推送,之...

EmilyWu
13分钟前
38
0
Knative 实战:三步走!基于 Knative Serverless 技术实现一个短网址服务

短网址顾名思义就是使用比较短的网址代替很长的网址。维基百科上面的解释是这样的: 短网址又称网址缩短、缩短网址、URL 缩短等,指的是一种互联网上的技术与服务,此服务可以提供一个非常短...

阿里巴巴云原生
29分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部