文档章节

Hadoop+Spark 环境搭建

MarkApple
 MarkApple
发布于 2017/08/27 02:58
字数 389
阅读 24
收藏 0
点赞 0
评论 0

Hadoop 环境变量配置: HADOOP_HOME:D:\ProgramData\BigData\Hadoop\hadoop-2.7.4 Path:%HADOOP_HOME%\bin

Spark 环境变量配置: SPARK_HOME:D:\ProgramData\BigData\Spark\spark-2.2.0 Path:%SPARK_HOME%\bin

修改hadoop配置文件: [1].编辑D:\ProgramData\BigData\Hadoop\hadoop-2.7.4\etc\hadoop,下的core-site.xml文件: <configuration> <property> <name>hadoop.tmp.dir</name> <value>/D:/ProgramData/BigData/Hadoop/hadoop-2.7.4/workplace/tmp</value> </property> <property> <name>dfs.name.dir</name> <value>/D:/ProgramData/BigData/Hadoop/hadoop-2.7.4/workplace/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:8084/Hadoop</value> </property> </configuration>

[2].编辑“D:\ProgramData\BigData\Hadoop\hadoop-2.7.4\etc\hadoop”目录下的mapred-site.xml(没有就将mapred-site.xml.template重命名为mapred-site.xml)文件 <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapred.job.tracker</name> <value>hdfs://localhost:8085/Hadoop</value> </property> </configuration>

[3].编辑“D:\ProgramData\BigData\Hadoop\hadoop-2.7.4\etc\hadoop”目录下的hdfs-site.xml文件: <configuration> <!-- 这个参数设置为1,因为是单机版hadoop --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.data.dir</name> <value>/D:/ProgramData/BigData/Hadoop/hadoop-2.7.4/workplace/data</value> </property> </configuration>

[4].编辑“D:\ProgramData\BigData\Hadoop\hadoop-2.7.4\etc\hadoop”目录下的yarn-site.xml文件: <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>

[5].编辑“D:\ProgramData\BigData\Hadoop\hadoop-2.7.4\etc\hadoop”目录下的hadoop-env.cmd文件,将JAVA_HOME用 @rem注释掉,编辑为JAVA_HOME的路径: set JAVA_HOME=D:/ProgramLanguage/Java/jdk/jdk1.8.0_144

[6].下载到的hadooponwindows-master.zip,解压,将bin目录(包含以下.dll和.exe文件)文件替换原来hadoop目录下的bin目录

[7].

hadoop fs -mkdir hdfs://localhost:8087/user hadoop fs -mkdir hdfs://localhost:8087/user/wcinput

hadoop fs -put D:\ProgramData\BigData\Hadoop\hadoop-2.7.4\workplace\data\file1.txt hdfs://localhost:8087/user/wcinput hadoop fs -put D:\ProgramData\BigData\Hadoop\hadoop-2.7.4\workplace\data\file2.txt hdfs://localhost:8087/user/wcinput

hadoop fs -ls hdfs://localhost:8087/user/wcinput

© 著作权归作者所有

共有 人打赏支持
MarkApple
粉丝 1
博文 11
码字总数 23951
作品 0
青岛
程序员
hadoop+spark详细的部署过程

准备软件包 1、hadoop-2.7.2.tar.gz http://mirror.bit.edu.cn/apache/hadoop/common/ 2、scala-2.10.4.tgz http://www.scala-lang.org/download/2.10.4.html 3、spark-2.0.0-bin-hadoop2.7......

天涯有梦 ⋅ 2017/07/18 ⋅ 0

为什么用Docker,Docker究竟有什么用呢

近年来,Docker越来越火爆,一大堆新概念,轻量级虚拟机,集装箱等概念,眼光缭乱。 慢慢也尝试用vagrant+docker搭建开发环境 和 服务器也用docker搭建测试环境,再逐步正式环境也用上docke...

小和 ⋅ 2016/11/03 ⋅ 2

【转帖】测试环境的搭建和维护

只要做过一次测试,就一定知道测试环境,但测试环境是如何搭建和维护的呢?就不一定所有人都明白了。 测试环境的搭建,每个公司都有不一样的流程和方法。一种是运维或者开发负责搭建和维护,...

12332111ss ⋅ 2016/04/28 ⋅ 0

centos7下stf安装介绍

介绍 stf 全称 Smartphone Test Farm ,一款WEB 端移动设备批量管理工具(Remote control all your Smartphone devices),目前仅支持android设备,仅支持在mac和linux上搭建,暂时没在论坛、...

迈阿密小白 ⋅ 2017/12/17 ⋅ 0

红象云腾:Hadoop大数据领域一支精英军

  【IT168 资讯】数据,已经渗透到当今每一个行业和业务领域,成为不可或缺的生产因素。人们对于海量数据的挖掘和应用,预示着新一波生产率增长和消费者盈余浪潮的到来。大数据在众多行业的...

it168网站 ⋅ 2017/05/16 ⋅ 0

一年走向【Java架构师】之葵花宝典

大多数时候,不是我们不努力,而是不知从何下手,我深知一份好的学习资料是多么的重要,我们通常会把大量的时间都浪费在找资源上,本人搜集学习java架构师的经典学习路线如下可供参考!!! 一...

我一路狂奔 ⋅ 2017/05/20 ⋅ 1

Vagrant 打造跨平台的开发环境

两个项目开发下来,因团队环境不一样,整合修bug成为了一件苦差事。虽然后来搭建了一台测试服务器,但是有时候受网络原因,还是不能连接到测试服务器上。因团队成员能力和习惯都不一样,有的...

cjp路人 ⋅ 2014/08/24 ⋅ 0

win7 64位 汇编环境搭建(二)

二,利用DOSBOX进行分立汇编环境搭建 在我的第一篇博文win7 64位 汇编环境搭建(一)中我介绍了如何利用DOSBOX在win7 64位环境中进入debug环境中进行汇编相关指令的练习,今天就把我如何搭建分...

zhangwenwen ⋅ 2012/09/20 ⋅ 1

用ROS自带的gazebo仿真器搭建自己的环境

近期需要搭建一个室内仿真环境,用于实验调试,所以想把相关技巧记录下来,如有错误,还请批评指正,谢谢。 参考网页:使用gazebo中的building editor创建一个建筑环境并用于仿真 1.配置要求...

qq_36355662 ⋅ 04/21 ⋅ 0

CentOS6.x 下 LNMP环境搭建(三、安装 PHP)

CentOS6.x 下 LNMP环境搭建(准备篇) CentOS6.x 下 LNMP环境搭建(一、安装 MySQL) CentOS6.x 下 LNMP环境搭建(二、安装 Nginx) CentOS6.x 下 LNMP环境搭建(三、安装 PHP) 3.1. 检查 ...

whoru ⋅ 2016/09/28 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

spring Email

使用spring发Email其实就是使用spring自己封装携带的一个javamail.JavaMailSenderImpl类而已。这个类可以当一个普通的java对象来使用,也可以通过把它配置变成spring Bean的方式然后注入使用...

BobwithB ⋅ 26分钟前 ⋅ 0

spark 整理的一些知识

Spark 知识点 请描述spark RDD原理与特征? RDD全称是resilient distributed dataset(具有弹性的分布式数据集)。一个RDD仅仅是一个分布式的元素集合。在Spark中,所有工作都表示为创建新的...

tuoleisi77 ⋅ 29分钟前 ⋅ 0

思考

时间一天天过感觉自己有在成长吗?最怕的是时光匆匆而过,自己没有收获!下面总结下最近自己的思考。 认识自己 认识另一个自己,人们常说要虚心听取别人意见和建议。然而人往往是很难做到的,...

hello_hp ⋅ 29分钟前 ⋅ 0

IT行业的变革就像世界杯德国对战墨西哥一样难以预测[图]

最近在观看世界杯,尤其是昨天的比赛,上一届卫冕冠军德国队居然0:1告负墨西哥,这创造了历史,首先是墨西哥从来没赢过德国队,其次是德国队36年来首站没输过,再差也是打平,而这次,德国队...

原创小博客 ⋅ 49分钟前 ⋅ 0

解决CentOS6、7,/etc/sysconfig/下没有iptables的问题

一、Centos 6版本解决办法: 1.任意运行一条iptables防火墙规则配置命令: iptables -P OUTPUT ACCEPT 2.对iptables服务进行保存: service iptables save 3.重启iptables服务: service ...

寰宇01 ⋅ 59分钟前 ⋅ 2

数据库备份和恢复

备份:mysqldump -u root -p 数据库>磁盘路径 恢复:mysql -u root -p 数据库<sql脚本的磁盘路径

anlve ⋅ 今天 ⋅ 0

发生了什么?Linus 又发怒了?

在一个 Linux 内核 4.18-rc1 的 Pull Request 中,开发者 Andy Shevchenko 表示其在对设备属性框架进行更新时,移除了 union 别名,这引发了 Linus 的暴怒。 这一次 Linus Torvalds 发怒的原...

问题终结者 ⋅ 今天 ⋅ 0

在树莓派上搭建一个maven仓库

在树莓派上搭建一个maven仓库 20180618 lambo init 项目说明 家里有台树莓派性能太慢。想搭建一个maven私服, 使用nexus或者 jfrog-artifactory 运行的够呛。怎么办呢,手写一个吧.所在这个...

林小宝 ⋅ 今天 ⋅ 0

Spring发展历程总结

转自与 https://www.cnblogs.com/RunForLove/p/4641672.html 目前很多公司的架构,从Struts2迁移到了SpringMVC。你有想过为什么不使用Servlet+JSP来构建Java web项目,而是采用SpringMVC呢?...

onedotdot ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部