文档章节

MAC OSX搭建hadoop伪分布式环境

Alexdevlin
 Alexdevlin
发布于 2016/10/11 11:17
字数 584
阅读 37
收藏 0
1.  hadoop伪分布式环境搭建,大概分三个步骤:1. java环境配置;2. mac os自身环境设置;3. hadoop环境配置。

    java环境配置这里就不再赘述了。
    2.下面看os自身环境。
这个主要是配置ssh环境。先在terminal里面输入ssh localhost
会有错误提示信息,表示当前用户没有权限。这个多半是系统为安全考虑,默认设置的。更改设置如下:进入system preference --> sharing --> 勾选remote login,并设置allow access for all users。再次输入“ssh localhost",再输入密码并确认之后,可以看到ssh成功。

    不过这里面还有一个麻烦,就是每次都会要求输入用户密码。《Hadoop实战》提供了一种免登陆的方法。首先,输入
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
ssh-keygen表示生成秘钥;-t表示秘钥类型;-P用于提供密语;-f指定生成的秘钥文件。这个命令在”~/.ssh/“文件夹下创建两个文件id_dsa和id_dsa.pub,是ssh的一对儿私钥和公钥。接下来,将公钥追加到授权的key中去,输入:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh免登陆设置完成。

    3.安装并运行hadoop
首先下载hadoop,链接是http://download.csdn.net/download/jack5261314/6896011,里面由hadoop的各个版本。这里用的是1.2.1版本
第一个是hadoop-env.sh脚本文件,设置如下环境变量:
export JAVA_HOME=/Library/java/JavaVirtualMachines/jdk1.7.0_71.jdk/Contents/Home   
export HADOOP_INSTALL=/Users/duyunlei/hadoop/tmp   
export PATH=$PATH:$HADOOP_INSTALL/bin
接下来是core-site.xml文件,配置hdfs的地址和端口号,如下:
<configuration>   
    <property>   
        <name>fs.default.name</name>   
        <value>hdfs://localhost:9000</value>   
    </property>   
   <property>  
        <name>hadoop.tmp.dir</name>  
        <value>/Users/duyunlei/hadoop/tmp</value>  
        <description>A base for other temporary directories.</description>  
   </property>
</configuration>

    然后是mapred-site.xml文件,设置map-reduce中jobtracker的地址和端口号,如下:
<configuration>  
  <property>     
    <name>mapred.job.tracker</name>   
    <value>localhost:9001</value>   
  </property> 
</configuration>

    最后是hdfs-site.xml文件,设置hdfs的默认备份方式。默认值是3,在伪分布式系统中,需要修改为1,如下:
 <configuration>  
  <property>     
    <name>dfs.replication</name>   
    <value>1</value>   
  </property> 
</configuration>

    设置总算是完成了,接下来,格式化namenode。在terminal里输入如下命令:
bin/hadoop namenode -format
启动hadoop,输入命令:
bin/start-all.sh
    如果一切正常的话,浏览器输入http://localhost:50030和http://localhost:50070分别看到map-reduce和hdfs的相关信息

© 著作权归作者所有

共有 人打赏支持
Alexdevlin
粉丝 13
博文 50
码字总数 32092
作品 1
浦东
程序员
私信 提问
OSX malware and exploit collection (~100 files) + links and resources for OSX malware analysis

此文为关于MAC OSX系统的所有攻击脚本和溢出代码的收藏集。附带资源链接和相关讲解文档~mark下 'Tis the season. Here is a nice collection of ~100 Mac OS malware and Word document expl...

Cnlouds
2013/11/26
0
2
Mac OSX操作系统安装和配置Zend Server 6教程(1)

作为web开发人员,应该熟悉掌握各种系统下安装和配置web服务器与站点的技术。 随着越来越多的开发人员选择Zend Server服务器,慧都推出了在Mac OSX系统安装和配置Zend Server 6教程,此教程将...

kouxunli1
2013/10/15
0
0
历经11个测试版,苹果 macOS Mojave 正式版发布

苹果今天发布了 macOS Mojave 正式版,Mojave 一共经历了 11 个测试版。Mac 用户可以免费下载和安装 Mojave。下载地址 >>> https://itunes.apple.com/us/app/macos-mojave/id1398502828?mt=1......

局长
2018/09/25
9.4K
51
mac:macOS开机恢复系统或选择不同系统

如果您无法从 macOS 恢复功能启动 无法通过内建恢复系统启动时,新款 Mac 电脑及部分旧款 Mac 电脑会自动尝试通过互联网从 macOS 恢复功能启动。出现这种情况时,您在启动期间将会看到旋转的...

Oh_really
2018/08/25
0
0
macOS Sierra 10.12 第二个开发者测试版发布

苹果今天发布了 macOS Sierra 第二个开发者测试版,距离第一个开发者测试版相隔三周的时间。苹果在今年 WWDC 上发布了 macOS Sierra 首个测试版。已经安装了 macOS Sierra 的用户可以通过 Ma...

oschina
2016/07/06
3.8K
3

没有更多内容

加载失败,请刷新页面

加载更多

第11章 多线程

程序、进程、线程 程序(program)是为完成特定任务、用某种语言编写的一组指令的集合。即指一段静态的代码,静态对象。 **进程(process)**是程序的一次执行过程或是正在运行的一个程序。动...

流小文
9分钟前
0
0
SpringBoot引入第三方jar包或本地jar包的处理方式

在开发过程中有时会用到maven仓库里没有的jar包或者本地的jar包,这时没办法通过pom直接引入,那么该怎么解决呢 一般有两种方法 - 第一种是将本地jar包安装在本地maven库 - 第二种是将本地j...

独钓渔
今天
2
0
五、MyBatis缓存

一、MyBatis缓存介绍 缓存的使用可以明显的加快访问数据速度,提升程序处理性能,生活和工作中,使用缓存的地方很多。在开发过程中,从前端-->后端-->数据库等都涉及到缓存。MyBatis作为数据...

yangjianzhou
今天
2
0
最近研究如何加速UI界面开发,有点感觉了

最近在开发JFinal学院的JBolt开发平台,后端没啥说的,做各种极简使用的封装,开发者上手直接使用。 JBolt开发平台包含常用的用户、角色、权限、字典、全局配置、缓存、增删改查完整模块、电...

山东-小木
今天
3
0
《月亮与六便士》的读后感作文3000字

《月亮与六便士》的读后感作文3000字: 看完英国作家威廉.萨默塞特.毛姆所著《月亮与六便士》(李继宏译),第一疑问就是全书即没提到“月亮”,也没提到“六便士”。那这书名又与内容有什么...

原创小博客
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部