文档章节

Hadoop tutorial - - windows开发环境搭建 2015-3-20

jayronwang
 jayronwang
发布于 2015/03/20 14:43
字数 201
阅读 43
收藏 0
点赞 0
评论 0

http://www.thebigdata.cn/Hadoop/10358.html

http://www.cnblogs.com/shitouer/archive/2012/05/29/2522860.html


tool:

eclipse Luna

hadoop plugin https://github.com/winghc/hadoop2x-eclipse-plugin


安装hadoop服务

http://www.cnblogs.com/kinglau/archive/2013/08/20/3270160.html

hadoop version 遇到错误http://blog.csdn.net/sx5486510/article/details/39395143 直接在cgywin执行以下命令即可

export HADOOP_CLASSPATH=$(cygpath -pw $(hadoop classpath)):$HADOOP_CLASSPATH


http://www.aboutyun.com/thread-8311-1-1.html

http://download.csdn.net/detail/u014310430/8402965 

http://stackoverflow.com/questions/26162578/error-hadoop-on-windows-via-cygwin-could-not-locate-null-bin-winutils-exe

https://issues.apache.org/jira/browse/HADOOP-10133

复制winutils.exe hadoop.dll至hadoop/bin,好东西,还要放到c盘的windows/system32下,并重启计算机才会生效



1 安装hadoop plugin

将hadoop-eclipse-plugin-1.0.4.jar拷贝到eclipse的plugins目录下,重启eclipse即可

2 eclipse设置

Hadoop的安装路径就是hadoop安装包hadoop.tar.gz解压缩后的路径

下载地址 http://www.apache.org/dyn/closer.cgi/hadoop/core/

hadoop 1.0.4下载地址 http://download.csdn.net/detail/jimenghu/5640965





© 著作权归作者所有

共有 人打赏支持
jayronwang
粉丝 11
博文 94
码字总数 20353
作品 0
厦门
windows 安装 spark 及 pycharm 调试 TopN 实例

首先声明本文搭建的环境为:windows8.1 + spark1.6.0 + python2.7 + jdk8,spark on windows 对 windows及python版本不怎么挑,但是对 spark 版本要求极其苛刻,比如 spark1.6.1 就无法运行。...

xrzs ⋅ 2012/06/28 ⋅ 0

Windows下单机安装Spark开发环境

机器:windows 10 64位。 因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。 1、Java下Spark开发环境搭建 1.1、jdk安装 安装oracle下的jdk,我安装的是jdk 1.7...

涩女郎 ⋅ 2016/09/20 ⋅ 0

hadoop window 搭建

hadoop 原理参考:用 Hadoop 进行分布式并行编程 官方中文文档:http://hadoop.apache.org/core/docs/r0.18.2/cn/index.html 1. 首先安装 cygwin ssh 参考 windows ssh 搭建 2. 搭建hadoop ...

walb呀 ⋅ 2017/12/07 ⋅ 0

windows下搭建hadoop开发环境(Eclipse)

windows下搭建hadoop开发环境(Eclipse) 注:hadoop 是java 编写的,可以通过java 直接编译出 hadoop 包。因此,操作系统影响 不大,只是需要剥去 linux这个外壳。 材料: 1. JDK 版本"1.7.0_...

庸人谷 ⋅ 2012/11/16 ⋅ 0

cygwin+hadoop环境 hive安装问题

本人初学,在windows上利用cygwin搭建了hadoop(0.20.2版本)开发环境,而且执行了WorkCount,自己也写了一个Map/Reduce执行都没 有问题。之后尝试安装Hive,我用的0.7.1版本,按照网上给的一些...

王二铁 ⋅ 2012/02/17 ⋅ 1

构建集群环境,Hadoop在linux下的安装与配置

Hadoop 是一个能够对大量数据进行分布式处理的软件框架,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序,以充分利用集群的威力高速运算和存储。Hadoop实现了...

一枚Sir ⋅ 2014/07/17 ⋅ 0

hadoop在windows下的配置与运行(运行环境和开发环境配置)

第一天我先在window环境里搭建的这个本人当时什么都不懂 就感觉方便就在这里搞了 不过经过这个我也知道了什么是hadoop 环境了 受益匪浅 。 在Windows下部署hadoop前,都需要安装cygwin软件,...

空_明 ⋅ 2013/11/13 ⋅ 1

Hadoop(2015/8/19最新发行版2.7.1): 搭建一个单节点集群。官方文档翻译

根据官方文档边操作边翻译,如有谬误欢迎拍砖指正!大家一起学习。也欢迎推荐更多有用学习文档给我,谢谢! Hadoop: 搭建一个单节点集群。 Hadoop: 搭建一个单节点集群。 目的 先决条件 下载...

duty ⋅ 2015/08/19 ⋅ 0

eclipse上搭建hadoop开发环境

一、概述 1.实验使用的Hadoop集群为伪分布式模式,eclipse相关配置已完成; 2.软件版本为hadoop-2.7.3.tar.gz、apache-maven-3.5.0.rar。 二、使用eclipse连接hadoop集群进行开发 1.在开发主...

一语成谶灬 ⋅ 2017/09/07 ⋅ 0

如何在 Windows 10 中搭建 Node.js 环境?

【编者按】本文作者为 Szabolcs Kurdi,主要通过生动的实例介绍如何在 Windows 10 中搭建 [Node.js][1] 环境。文章系国内 [ITOM][2] 管理平台 [OneAPM][3] 编译呈现。 在本文中,笔者将展示如...

OneAPM蓝海讯通 ⋅ 2016/06/07 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

在java中读取文件(也支持读取jar中的文件)

getClass().getResourceAsStream("文件名.格式"); 这个方法是用于获取当前类所在目录下的文件;需要将文件放到和当前类同一个包下面 比如我有个类在 com.test这个包下, 要读取一个test.jpg的图...

太黑_thj ⋅ 28分钟前 ⋅ 0

CentOS 7 源码编译安装 MySQL 5.7记录

没事瞎折腾,本来可以yum安装,却偏偏去要编译源码。 1. 安装依赖包 1). 安装cmake等依赖 # yum install cmake ncurses ncurses-devel bison bison-devel 2). 安装boost 1.59.0 # wget htt...

admin_qing ⋅ 30分钟前 ⋅ 0

tcp/ip详解-链路层

简介 设计链路层的目的: 为IP模块发送和接收IP数据报 为ARP模块发送ARP请求和接收ARP应答 为RARP模块发送RARP请求和接收RARP应答 TCP/IP支持多种链路层协议,如以太网、令牌环往、FDDI、RS-...

loda0128 ⋅ 今天 ⋅ 0

spring.net aop代码例子

https://www.cnblogs.com/haogj/archive/2011/10/12/2207916.html

whoisliang ⋅ 今天 ⋅ 0

发送短信如何限制1小时内最多发送11条短信

发送短信如何限制1小时内最多发送11条短信 场景: 发送短信属于付费业务,有时为了防止短信攻击,需要限制发送短信的频率,例如在1个小时之内最多发送11条短信. 如何实现呢? 思路有两个 截至到当...

黄威 ⋅ 昨天 ⋅ 0

mysql5.7系列修改root默认密码

操作系统为centos7 64 1、修改 /etc/my.cnf,在 [mysqld] 小节下添加一行:skip-grant-tables=1 这一行配置让 mysqld 启动时不对密码进行验证 2、重启 mysqld 服务:systemctl restart mysql...

sskill ⋅ 昨天 ⋅ 0

Intellij IDEA神器常用技巧六-Debug详解

在调试代码的时候,你的项目得debug模式启动,也就是点那个绿色的甲虫启动服务器,然后,就可以在代码里面断点调试啦。下面不要在意,这个快捷键具体是啥,因为,这个keymap是可以自己配置的...

Mkeeper ⋅ 昨天 ⋅ 0

zip压缩工具、tar打包、打包并压缩

zip 支持压缩目录 1.在/tmp/目录下创建目录(study_zip)及文件 root@yolks1 study_zip]# !treetree 11└── 2 └── 3 └── test_zip.txt2 directories, 1 file 2.yum...

蛋黄Yolks ⋅ 昨天 ⋅ 0

聊聊HystrixThreadPool

序 本文主要研究一下HystrixThreadPool HystrixThreadPool hystrix-core-1.5.12-sources.jar!/com/netflix/hystrix/HystrixThreadPool.java /** * ThreadPool used to executed {@link Hys......

go4it ⋅ 昨天 ⋅ 0

容器之上传镜像到Docker hub

Docker hub在国内可以访问,首先要创建一个账号,这个后面会用到,我是用126邮箱注册的。 1. docker login List-1 Username不能使用你注册的邮箱,要用使用注册时用的username;要输入密码 ...

汉斯-冯-拉特 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部