文档章节

Windows系统使用IntelliJ IDEA 搭建Hadoop的开发调试环境(一)

Hi徐敏
 Hi徐敏
发布于 2015/04/14 21:57
字数 743
阅读 399
收藏 1
点赞 0
评论 0

准备

Hadoop集群

上一篇讲到的Hadoop环境搭建,开启Hadoop几个服务

./sbin/start-dfs.sh 

./sbin/start-yarn.sh 

./sbin/mr-jobhistory-daemon.sh start historyserver

使用jps查看是否执行成功 命令:start-all.sh已经不推荐使用了。

[root@hadoop01 hadoop-2.6.0]# jps
1941 JobHistoryServer
1665 ResourceManager
1355 NameNode
1977 Jps
1497 SecondaryNameNode

IDEA+MAVEN

安装好IDEA,配置好MAVEN即可

WINDOWS系统账号

(同Linux下的Hadoop运行账号,如root)

如果在Windows中,新建一个账号,用户名为root(必须和Hadoop运行的账号一致,比如叫root、hadoop等等)

新建好之后,注销该账号登录的系统即可,不用在该账号下运行。

搭建

Hadoop

如果在调试HDFS功能,拒绝访问,并且在测试环境下,尝试下述做法

1、  调用hdfs无需使用和运行hadoop用户名一致前提,但是需要到hdfs-site.xml中设置permission=false

<configuration>
 <property>
   <name>dfs.namenode.secondary.http-address</name>
     <value>hadoop01:9001</value>
      </property>

  <property>
     <name>dfs.namenode.name.dir</name>
        <value>file:/usr/hadoop-2.6.0/dfs/name</value>
         </property>

 <property>
   <name>dfs.datanode.data.dir</name>
     <value>file:/usr/hadoop-2.6.0/dfs/data</value>
       </property>

 <property>
   <name>dfs.replication</name>
     <value>2</value>
      </property>

 <property>
   <name>dfs.webhdfs.enabled</name>
     <value>true</value>
      </property>
    <property>
      <name>dfs.permissions</name>
      <value>false</value>
    </property>
</configuration>

IDEA工程

新建一个maven工程:hadoop

1、POM依赖

<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.6.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.6.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.6.0</version>
    </dependency>
</dependencies>

2、新建一个测试类Test

在hadoop中已经通过执行wordcount导入了input和output的fs文件,这里通过hdfs的api进行调试

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.InputStream;
import java.net.URI;
/**
 * Created with j360 -> me.h360.hdfs.
 * User: min_xu
 * Date: 2015/4/14
 * Time: 9:05
 * 说明:测试hdfs的文件的情况
 */
public class Test {
    public static void main(String[] args) throws Exception {
        //hdfs的地址
        String uri = "hdfs://192.168.145.128:9000/";
        Configuration config = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(uri), config);

        // 列出hdfs上/tmp/input/目录下的所有文件和目录
        FileStatus[] statuses = fs.listStatus(new Path("/tmp/input"));
        for (FileStatus status : statuses) {
            System.out.println(status);
        }

        // 在hdfs的/tmp/input目录下创建一个文件,并写入一行文本
        FSDataOutputStream os = fs.create(new Path("/tmp/input/test.log"));
        os.write("Hello World!".getBytes());
        os.flush();
        os.close();

        // 显示在hdfs的/tmp/input下指定文件的内容
        InputStream is = fs.open(new Path("/tmp/input/test.log"));
        IOUtils.copyBytes(is, System.out, 1024, true);
    }
}


调试

执行main方法

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
FileStatus{path=hdfs://192.168.145.128:9000/tmp/input/f1; isDirectory=false; length=20; replication=2; blocksize=134217728; modification_time=1428671368587; access_time=1428998938744; owner=root; group=supergroup; permission=rw-r--r--; isSymlink=false}
FileStatus{path=hdfs://192.168.145.128:9000/tmp/input/f2; isDirectory=false; length=25; replication=2; blocksize=134217728; modification_time=1428671368663; access_time=1428998938711; owner=root; group=supergroup; permission=rw-r--r--; isSymlink=false}
FileStatus{path=hdfs://192.168.145.128:9000/tmp/input/test.log; isDirectory=false; length=12; replication=3; blocksize=134217728; modification_time=1428991073630; access_time=1428998938072; owner=root; group=supergroup; permission=rw-r--r--; isSymlink=false}
Hello World!
Process finished with exit code 0

已经把前面生成的fs文件打印出来。

© 著作权归作者所有

共有 人打赏支持
Hi徐敏
粉丝 117
博文 40
码字总数 67954
作品 0
静安
架构师
Linux开发环境搭建之Intellij Idea安装配置

本文将会在Linux环境下安装使用Intellij Idea开发工具,然后在Idea中配置Maven和Tomcat,如果还没有Maven环境,可以参考《Linux开发环境搭建之Maven安装配置 》一文。 一、环境准备 1.Linxu桌...

MaxBill ⋅ 05/14 ⋅ 0

Windows + IDEA + SBT 打造Spark源码阅读环境

http://guozhongxin.com/pages/2014/10/15/sparksourcecode.html Spark源码阅读环境的准备 Spark源码是有Scala语言写成的,目前,IDEA对Scala的支持要比eclipse要好,大多数人会选在在IDEA上...

chenhao_asd ⋅ 04/25 ⋅ 0

IntelliJ IDEA 2018.2 EAP 发布,支持 Touch Bar

IntelliJ IDEA 2018.2 EAP 已发布:包含对 MacBook Touch Bar 的支持,对 Gradle 支持的改进,新图标,Spring Boot 及一些更新。 支持 Touch Bar 即将推出的 IntelliJ IDEA 2018.2 引入了 To...

达尔文 ⋅ 05/18 ⋅ 0

IntelliJ IDEA 2018.1.4 发布,带来大量实用改进

IntelliJ IDEA 2018.1.4 已发布,该版本包含一些实用的改进,可通过下载或 Toolbox App 获取更新。 在 IntelliJ IDEA 中,你可以为每个运行配置指定正在运行的应用使用的目录,可以直接输入它...

淡漠悠然 ⋅ 05/22 ⋅ 0

IntelliJ IDEA 2018.1.3 EAP 发布,改进 Gradle 支持

IntelliJ IDEA 2018.1.3 EAP 已可下载尝鲜,在当前的稳定版基础上带来了新的改进和修复。 IntelliJ IDEA 2018.1.3 EAP 版本在从以前的 IDE 版本导入设置时会检查与 Kotlin 插件的兼容性,如果...

王练 ⋅ 04/27 ⋅ 13

使用IDEA 搭建 spark on yarn 的开发环境+调试~

1.导入yarn和hdfs配置文件 因为spark on yarn 是依赖于yarn和hdfs的,所以获取yarn和hdfs配置文件是首要条件,将core-site.xml、hdfs-site.xml 、yarn-site.xml 这三个文本考入到你IDEA项目里...

qq_31806205 ⋅ 05/25 ⋅ 0

IntelliJ IDEA 2018.2 EAP2 发布,优化代码重构

IntelliJ IDEA 2018.2 EAP2 已发布,主要包含两项改进: 代码重构 即将推出的 IntelliJ IDEA 2018.2 为提取方法( Extract Method )引入了一个新的预览面板,当使用重复的代码片段进行重构时...

王练 ⋅ 05/23 ⋅ 0

Spring MVC框架自学(二)IntelliJ IDEA搭建Spring开发环境

学习完了springMVC的基础知识,就想试试看搭建开发环境 我平常经常用的就是IntelliJ IDEA这个编译软件,方便,而且环境是集成的,当然啦,电脑里面必须配置JAVA环境,如果没有环境,必须自己...

大二架构师 ⋅ 05/07 ⋅ 0

IntelliJ IDEA下的使用git

1、git简介 git是目前流行的分布式版本管理系统。它拥有两套版本库,本地库和远程库,在不进行合并和删除之类的操作时这两套版本库互不影响。也因此其近乎所有的操作都是本地执行,所以在断网...

为了美好的明天 ⋅ 05/11 ⋅ 0

集成开发工具 Android Studio 3.2 Canary 13 发布

Android Studio 3.2 Canary 13 已经发布在 Canary 和 Dev 频道。 Android Studio 是一个 Android 集成开发工具,基于 IntelliJ IDEA,类似 Eclipse ADT,Android Studio 提供了集成的 Androi...

雨田桑 ⋅ 05/01 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

mysql in action / alter table

change character set ALTER SCHEMA `employees` DEFAULT CHARACTER SET utf8mb4 DEFAULT COLLATE utf8mb4_general_ci ;ALTER TABLE `employees`.`t2` CHARACTER SET = utf8mb4 , COLLAT......

qwfys ⋅ 今天 ⋅ 0

Java 开发者不容错过的 12 种高效工具

Java 开发者常常都会想办法如何更快地编写 Java 代码,让编程变得更加轻松。目前,市面上涌现出越来越多的高效编程工具。所以,以下总结了一系列工具列表,其中包含了大多数开发人员已经使用...

jason_kiss ⋅ 昨天 ⋅ 0

Linux下php访问远程ms sqlserver

1、安装freetds(略,安装在/opt/local/freetds 下) 2、cd /path/to/php-5.6.36/ 进入PHP源码目录 3、cd ext/mssql进入MSSQL模块源码目录 4、/opt/php/bin/phpize生成编译配置文件 5、 . ./...

wangxuwei ⋅ 昨天 ⋅ 0

如何成为技术专家

文章来源于 -- 时间的朋友 拥有良好的心态。首先要有空杯心态,用欣赏的眼光发现并学习别人的长处,包括但不限于工具的使用,工作方法,解决问题以及规划未来的能力等。向别人学习的同时要注...

长安一梦 ⋅ 昨天 ⋅ 0

Linux vmstat命令实战详解

vmstat命令是最常见的Linux/Unix监控工具,可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率,内存使用,虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令...

刘祖鹏 ⋅ 昨天 ⋅ 0

MySQL

查看表相关命令 - 查看表结构    desc 表名- 查看生成表的SQL    show create table 表名- 查看索引    show index from  表名 使用索引和不使用索引 由于索引是专门用于加...

stars永恒 ⋅ 昨天 ⋅ 0

easyui学习笔记

EasyUI常用控件禁用方法 combobox $("#id").combobox({ disabled: true }); ----- $("#id").combobox({ disabled: false}); validatebox $("#id").attr("readonly", true); ----- $("#id").r......

miaojiangmin ⋅ 昨天 ⋅ 0

金山WPS发布了Linux WPS Office

导读 近日,金山WPS发布了Linux WPS Office中文社区版新版本,支持大部分主流Linux系统,功能更加完善,兼容性、稳定性大幅度提升。本次更新WPS将首次在Linux提供专业办公文件云存储服务,实...

问题终结者 ⋅ 昨天 ⋅ 0

springboot2输出metrics到influxdb

序 本文主要研究一下如何将springboot2的metrics输出到influxdb maven <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-bo......

go4it ⋅ 昨天 ⋅ 0

微信小程序 - 选择图片显示操作菜单

之前我分享过选择图片这个文章,但是我在实际开发测试使用中发现一个问题在使用 wx.chooseImage 选择照片显示出第一格是拍照,后面是相册里的图片。这种实现之前说过了,效果如下。 但是你从...

hello_hp ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部