文档章节

Spark输出压缩文件

Yulong_
 Yulong_
发布于 2017/04/05 17:40
字数 106
阅读 241
收藏 0

Spark中保存文件为各种压缩类型。

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

import org.apache.hadoop.io.compress.GzipCodec
import org.apache.hadoop.io.compress.SnappyCodec
import org.apache.hadoop.io.compress.BZip2Codec

/**
 * @author training
 */
object Test {
  
  def main(args: Array[String]){
    val conf = new SparkConf().setAppName("test").setMaster("local")
    val sc = new SparkContext(conf)
    
    val rdd = sc.textFile("file:/tmp/sparktest/123.txt", 1)

    rdd.saveAsTextFile("file:/tmp/sparktest/123.gz", classOf[GzipCodec])
    rdd.saveAsTextFile("file:/tmp/sparktest/123.snappy", classOf[SnappyCodec])
    rdd.saveAsTextFile("file:/tmp/sparktest/123.bz2", classOf[BZip2Codec])
    
  }
  
}

© 著作权归作者所有

下一篇: flume-ng学习
Yulong_
粉丝 10
博文 145
码字总数 253510
作品 0
朝阳
部门经理
私信 提问
【Spark】Spark本地运行模式及Standalone运行模式环境搭建

版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/gongxifacai_believe/article/details/86584947 软件版本: JDK:1.7.0_67 Scala:2.10.4 Hadoop:2.5.0-cdh5.3.6 ...

魏晓蕾
01/24
0
0
Spark 配置

Spark提供了三种主要本地设置来配置系统: 环境变量 用来加载Spark的workers,可以在你的驱动程序或theconf/spark-env.shscript中设定。 Java系统属性 控制内部配置参数,可以通过编程方式设...

vincent_hv
2013/09/24
23.4K
5
Spark2.0-RDD分区原理分析

Spark分区原理分析 介绍 分区是指如何把RDD分布在spark集群的各个节点的操作。以及一个RDD能够分多少个分区。 一个分区是大型分布式数据集的逻辑块。 那么思考一下:分区数如何映射到spark的...

xiaomin0322
2018/06/06
119
0
关于Spark 的一些调优选项(待完善)

各位看到的大侠们,,,,如果有什么问题,不要拍砖,后期进行完善。谢谢协助完善。 几个比较重要的配置属性: 1.手动启动集群 参数 含义 -i IP,--ip IP 要监听的IP地址或者 DNS 机器名 -p P...

Ryan-瑞恩
2015/08/28
2.6K
3
Apache Spark 1.6 Hadoop 2.6 Mac下单机安装配置

一、 下载资料 1. JDK 1.6 + 2. Scala 2.10.4 3. Hadoop 2.6.4 4. Spark 1.6 二、预先安装 1. 安装JDK 2. 安装Scala 2.10.4 解压安装包即可 3. 配置sshd ssh-keygen -t dsa -P '' -f ~/.ssh/......

ysisl222
2016/10/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

CentOS7.6中安装使用fcitx框架

内容目录 一、为什么要使用fcitx?二、安装fcitx框架三、安装搜狗输入法 一、为什么要使用fcitx? Gnome3桌面自带的输入法框架为ibus,而在使用ibus时会时不时出现卡顿无法输入的现象。 搜狗和...

技术训练营
昨天
5
0
《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
昨天
8
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
昨天
10
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
昨天
6
0
PHP+Ajax微信手机端九宫格抽奖实例

PHP+Ajax结合lottery.js制作的一款微信手机端九宫格抽奖实例,抽奖完成后有收货地址添加表单出现。支持可以设置中奖概率等。 奖品列表 <div class="lottery_list clearfix" id="lottery"> ......

ymkjs1990
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部