文档章节

Hadoop学习记录

傅小水water
 傅小水water
发布于 2017/04/07 16:12
字数 1231
阅读 3
收藏 0

#第一章、安装Linux服务器 本教程安装的是CentOS系统。 安装完VMware虚拟机后,运行虚拟机,点击“创建新的虚拟机”,选择典型安装模式,点机下一步。 输入图片说明
选择下载的镜像文件,点下一步。 输入图片说明
用户名不能使用root,root是Linux保留的最高权限用户,填写完成点下一步。 输入图片说明
选择虚拟机保存出的路径,点下一步。 输入图片说明
配置虚拟机硬盘大小,点下一步。 输入图片说明
在这一步,点击自定义硬件,可以自定义配置虚拟机的各项数据,配置完点完成,启动虚拟机开始安装。 输入图片说明

#第二章、Hadoop的伪分布安装 伪分布安装的环境是:CentOS系统和Windows 7系统,在VMware上安装CentOS系统与Windows通过host-only的方式组网。 ##Linux环境配置
Host-only方式组网需要在Windows上开启VM虚拟网卡,并设置静态IP。
CentOS的用户名:root,密码:tank
Windows的网络,VMware Network Adapter VMnet1

  • 1、在CentOS上设置静态IP。
    在System菜单下选择Network Connections,双击System ech0,选择IPv4 Settings选项卡,Method选择Manual(静态),然后新增一条IP记录,填写IP地址、子网掩码、网关,点击应用。
    输入图片说明
  • 2、打开CentOS终端,重启网卡。
    输入命令:service network restart。
    验证:使用ifconfig查看IP地址是否更改生效。
    输入图片说明
    输入图片说明
  • 3、修改主机名,主机名相当于域名,用来访问该主机的名字。
    查看主机名,命令:hostname。
    修改主机名有两种方法:
    A: 修改当前会话主机名,命令是hostname <主机名>。
    B: 修改配置文件,是永久性的修改,在vi /etc/sysconfig/network,把hostname改成hadoop。
    输入图片说明
    输入图片说明
  • 4、把hostname与ip绑定。
    执行命令vi /etc/hosts,在最下面新增一行内容,如下:192.168.40.100 hadoop,保存退出。
    验证:ping hadoop,如果有包返回则修改成功。
    输入图片说明
    输入图片说明
    输入图片说明
  • 5、关闭防火墙和关闭防火墙的自动启动。
    <1> 查看防火墙命令:service iptables status。
    <2> 关闭防火墙命令:service iptables stop。
    验证是否关闭:service iptables status。

    <3> 查看防火墙是否自动启动:chkconfig --list | grep iptables。
    <4> 关闭防火墙自动启动:chkconfig iptables off。
    验证防火墙是否自动启动:chkconfig --list | grep iptables,全部是off则为成功。
  • 6、设置SSH(Secure Shell)的免密码登陆。首先生成密钥,然后把密钥复制一份,名字为authorized_keys【必须为该名字,登录时会读取该文件】。
    <1> 执行命令 ssh-keygen –t rsa 产生密钥,一直回车即可,密钥位于 ~/.ssh/id_rsa.pub
    <2> 执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
    验证:ssh localhost
    输入图片说明
    输入图片说明
    输入图片说明
    ##安装JDK <1> 执行命,rm -rf /usr/local/* 删除所有内容。
    <2> 使用WinSCP工具把jdk-6u45-linux-x64.bin传送到CentOS的/user/local文件夹下。
    <3> 执行命令,chmod u+x jdk-6u45-linux-x64.bin,给jdk-6u45-linux-x64.bin文件赋予执行权限。
    <4> 执行命令,./ jdk-6u45-linux-x64.bin 解压缩。
    <5> 执行命令,mv jdk-6u45-linux-x64.bin jdk 重命名
    <6> 执行命令,vi /etc/profile 设置环境变量,在空白处增加两行内容
    export JAVA_HOME=/usr/local/jdk
    export PATH=.:$JAVA_HOME/bin:$PATH
    <7> 执行命令,source /etc/profile 让该设置立即生效
    验证:执行命令,java –version
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明
    输入图片说明

安装Hadoop

<1> 使用WinSCP工具把jdk-6u45-linux-x64.bin传送到CentOS的/user/local文件夹下。
<2> 执行命令,tar -zxvf hadoop-1.2.1.tar.gz 解压缩Hadoop。
<3> 执行命令,mv hadoop-1.2.1 hadoop,修改文件名称
<3> 执行命令,vi /etc/profile 设置环境变量

export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

<4> 执行命令,source /etc/profile 让配置立即生效
<5> 修改hadoop的配置文件,位于$HADOOP_HOME/conf文件夹下。

【注:可以用WinSCP工具直接进行修改】  
【注:配置文件中不允许出现中文,否则无法执行】   
【hadoop 环境变量脚本文件hadoop-env.sh】  
        A: 把行首的‘#’号删掉  
        B: export JAVA_HOME=/usr/local/jdk。  

【hadoop 核心配置文件core-site.xml】

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop:9000</value>
    </property>
</configuration>

【hdfs 配置文件hdfs-site.xml】

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

【MapReduce 配置文件mapred-site.xml】

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoop:9001</value>
    </property>
</configuration>

<6> 执行命令,hadoop namenode -format 对hadoop进行格式化。
<7> 执行命令,start-all.sh,启动hadoop,总共有五个进程启动。分别是namenode、datanode、secondarynamenode、jobtracker、tasktracker。
验证:执行命令,jps,显示上面五个进程就启动成功了。
<8> 通过Linux浏览器访问:http://hadoop:50070http://hadoop:50030
【windows下访问,需要修改C:\Windows\System32\drivers\etc\hosts文件,对IP和域名进行绑定】。
<9> NameNode进程没有启动成功。

(1)	没有格式化。
(2)	配置文件只copy,不修改。
(3)	Hostname和ip没有绑定。
(4)	SSH免密码登录没有配置成功 

<10> 多次格式化hadoop也是错误的。
方法:删除/usr/local/hadoop/tmp文件夹,重新格式化。
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明

© 著作权归作者所有

共有 人打赏支持
傅小水water
粉丝 1
博文 24
码字总数 9371
作品 0
杭州
Mahout安装与配置笔记

一、硬件环境 操作系统:Linux ubuntu-13.04-desktop-i386 jdk安装版本:jdk-7u51-linux-i586 Hadoop版本:Hadoop-1.1.1(一个Namenode,三个Datanode部署) 二、安装步骤 在Mahout安装之前读...

kartik
2014/06/01
0
0
eclipse编译hadoop源码

由于开发mapreduce的时候,有时需要看源码,再次down下来,编译了下,仅作为学习记录 首先需要安装ant,svn(我用的是eclipse的插件); svn地址:http://svn.apache.org/repos/asf/hadoop/co...

东岸往事
2013/01/05
0
0
我们正在开发中,如果你对机器学习、深度学习感兴趣,希望你加入我们的团队!

我们正在开发中,如果你对机器学习、深度学习感兴趣,希望你加入我们的团队! 我们的打算: 构建一个企业级的推荐系统,支持100亿条偏好处理能力; 使用的技术:a) 推荐算法:SVD、matrix fa...

wuawua
2014/04/24
1K
26
Hadoop家族学习路线图

权声明:本文为博主原创文章,未经博主允许不得转载。 目录(?)[+] 主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增...

_Mr_Computer_
2016/07/13
0
0
Linux命令行下运行Hadoop单元测试

最近在学习Hadoop,在虚拟机上面的Centos系统下搭建了一个单机的Hadoop系统,对照《Hadoop权威指南》一边看一边运行里面的例子。由于大部分程序员都是用Eclipse来开发Hadoop程序,但我习惯于...

chyileon
2013/05/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

kubeadm部署kubernetes集群

一、环境要求 这里使用RHEL7.5 master、etcd:192.168.10.101,主机名:master node1:192.168.10.103,主机名:node1 node2:192.168.10.104,主机名:node2 所有机子能基于主机名通信,编辑...

人在艹木中
今天
6
0
Shell特殊符号总结以及cut,sort,wc,uniq,tee,tr,split命令

特殊符号总结一 * 任意个任意字符 ? 任意一个字符 # 注释字符 \ 脱义字符 | 管道符 # #号后的备注被忽略[root@centos01 ~]# ls a.txt # 备注 a.txt[root@centos01 ~]# a=1[root@centos01...

野雪球
今天
2
0
OSChina 周二乱弹 —— 程序员圣衣

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @达尔文:分享Skeeter Davis的单曲《The End of the World》 《The End of the World》- Skeeter Davis 手机党少年们想听歌,请使劲儿戳(这里...

小小编辑
今天
14
0
[ python import module ] 导入模块

import moudle_name ----> import module_name.py ---> import module_name.py文件路径 -----> sys.path (这里进行查找文件) # from app.web import Personimport app.web.Person as Pe......

_______-
昨天
5
0
Redis性能问题排查解决手册

一、性能相关的数据指标 通过Redis-cli命令行界面访问到Redis服务器,然后使用info命令获取所有与Redis服务相关的信息。通过这些信息来分析文章后面提到的一些性能指标。 nfo命令输出的数据可...

IT--小哥
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部