文档章节

往hdfs上写入数据

bigdataboy
 bigdataboy
发布于 2016/06/24 16:48
字数 89
阅读 15
收藏 0

public static void wrteFileHdfs(String localSrc,String hdfsPath){

  try {

   InputStream in=new BufferedInputStream(new FileInputStream(localSrc));

   Configuration conf=new Configuration();

   FileSystem fs=FileSystem.get(URI.create(hdfsPath), conf);

   OutputStream out=fs.create(new Path(hdfsPath), new Progressable(){

    @Override

    public void progress() {

     System.out.println("*");

    }

    });

   IOUtils.copyBytes(in, out, 4096,true);

  } catch (FileNotFoundException e) {

   e.printStackTrace();

  } catch (IOException e) {

   e.printStackTrace();

  }

 }

 public static void main(String[] args) {

  String localSrc="/home/zkpk/sogou100.txt";

  String hdfsPath="hdfs://master:9000/search/";

  WriteHdfsFile.wrteFileHdfs(localSrc, hdfsPath);

 }

© 著作权归作者所有

上一篇: Ambari 在线安装
下一篇: 从hdfs上读取数据
bigdataboy
粉丝 0
博文 8
码字总数 7704
作品 0
朝阳
程序员
私信 提问
flume源码学习8-hdfs sink的具体写入流程

上一篇说了HDFSEventSink的实现,这里根据hdfs sink的配置和调用分析来看下sink中整个hdfs数据写入的过程: 线上hdfs sink的几个重要设置 hdfs.path = hdfs://xxxxx/%{logtypename}/%Y%m%d/%...

菜菜光
2015/03/07
0
0
Mysql 流增量写入 Hdfs(二) --Storm + hdfs 的流式处理

一. 概述 上一篇我们介绍了如何将数据从 mysql 抛到 kafka,这次我们就专注于利用 storm 将数据写入到 hdfs 的过程,由于 storm 写入 hdfs 的可定制东西有些多,我们先不从 kafka 读取,而先...

终日而思一
2018/12/12
0
0
测试Flume-1.6.0写入HDFS(Hadoop-2.7.2)的简单实例

1、推荐参考博客地址:http://blog.csdn.net/xiaojun0820/article/category/2399621 放在flume根目录conf文件夹下的代理配置文件写法: 先进到hadoop的根目录下启动HDFS (命令./sbin/start-...

源子
2016/08/12
16
0
Sqoop1实现数据传递至HDFS和Hive中

1、sqoop在将mysql数据写入HDFS并关联hive时不需要提前在hive中建立对应表,sqoop将在hive中自动建立同名表。 2、参考命令参数地址: http://www.zihou.me/html/2014/01/28/9114.html http:/...

源子
2016/10/13
68
0
HDFS原理分析(一)—— 基本概念

HDFS是Hadoop Distribute File System 的简称,也就是Hadoop的一个分布式文件系统。 一、HDFS的主要设计理念 1、存储超大文件 这里的“超大文件”是指几百MB、GB甚至TB级别的文件。 2、最高效...

shiw019
2012/11/28
0
0

没有更多内容

加载失败,请刷新页面

加载更多

tornadofx动画演示分钱问题,多种方法

import javafx.animation.AnimationTimerimport javafx.collections.FXCollectionsimport javafx.scene.paint.Colorimport javafx.scene.shape.Rectangleimport javafx.util.Duratio......

oschina4cyy
26分钟前
1
0
Bootstrap(四)列表与代码

列表 无序列表 <ul> <li>...</li></ul> 有序列表 <ol> <li>...</li></ol> 去点列表 <ul class="list-unstyled"> <li>...</li></ul> 内联列表(列表元素放置于同一行) <ul class="......

ZeroBit
30分钟前
1
0
信必优成功案例 – H3C/CMCC企业项目管理系统

项目背景 •企业项目管理(EPM)系统涵盖了(无线)需求管理、预算管理、立项管理、建设管理、后评估等一系列功能,实现了从预算到建设到项目完成评估阶段的全面覆盖。同时,通过管理流程的电...

symbiochina88
31分钟前
1
0
DevExpress WPF v19.1新版亮点:PDF Viewer等控件新功能

行业领先的.NET界面控件DevExpress 日前正式发布v19.1版本,本站将以连载的形式介绍各版本新增内容。在本系列文章中将为大家介绍DevExpress WPF v19.1中新增的一些控件及部分功能增强,点击下...

FILA6666
31分钟前
1
0
PHP 获取类 / 对象的属性字段及属性值

get_class_vars 获取类的公有属性及默认值(包含公有的静态属性),用来列举类的公有属性字段。 get_object_vars 获取对象的公有属性及属性值(不包含公有的静态属性)。 ReflectionClass 如...

big_cat
34分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部