加载中
Spark学习笔记-windows环境搭建

下载解压 下载地址:http://spark.apache.org/downloads.html 环境配置 先装好java, scala, HDFS 配置SPARK_HOME,Path 启动Spark-shell 启动时出错: The root scratch dir: /tmp/hive on HDF...

2017/07/16 22:58
4
Hadoop学习笔记-windows环境搭建

下载解压 Hadoop下载地址http://hadoop.apache.org/ Windows下运行需要hadoop.dll和winutils.exe,2.7.3版本对应的可以从以下地址下载,下载完放到bin下面,下载地址: https://github.com/ru...

2017/07/16 18:14
3
Flume学习-Interceptor配置

Flume的interceptors可以在event放到channel之前插入一些header,比如HDFS Sink用到的timestamp,也可以对body进行修改 参考:http://flume.apache.org/FlumeUserGuide.html Timestamp Inter...

2017/09/21 21:25
530
Flume学习-自定义Source

自定义Source FLume Source 有PollableSource和EventDrivenSource,启动Source时会判断 EventDrivenSourceRunner EventDrivenSourceRunner启动后调用source的start()就完了,自定义Event类型S...

2017/08/28 21:37
190
Hadoop学习-HDFS权限控制

HDFS文件权限 HDFS文件和目录的权限控制和Linux系统类似,有chmod,chown,chgrp几个命令可以修改权限和所有者. hadoop fs -chmod 750 /user/endless hadoop fs -chown -R test1:group1 /user...

2017/08/25 23:24
2.6K
HDFS JAVA API简单测试

创建目录 mkdirs相当于 mkdir -p, mkdirs在dir存在的情况下也是返回true public static void mkdirs(FileSystem fs, String path) {     try {       Path dirPath = new Path(path);       if (!fs...

2017/08/07 21:57
56
Flume学习笔记-windows简单应用

下载安装 http://flume.apache.org/download.html HelloWorld flume-conf.properties.template的默认配置为,source为seq,即产生一个0,1,2这样的数字序列,主要为了测试,sink为logger,即打...

2017/07/30 22:28
8
HBase学习-基本Java API

创建Connection对象 //Connection对象相当于与HBase的一个连接 public static Connection getConnection() throws IOException {     Configuration config = HBaseConfiguration.create();     ...

2017/07/29 19:10
20
HBase学习-windows安装和Shell基本用法

基本概念 行键(row key):每行的唯一标识 列族(column family):多个列的组合,每行可能包含多个列族 单元(cell):相当于二维表的一个元素,由行(行键),列(列族:列名)标识的一个元素 下载安...

2017/07/29 19:02
5
Spark学习笔记-SparkStreaming简单用法

简单应用 SparkStreaming把数据流分割成一个一个的小批次进行处理,下面的简单示例程序,每5秒钟从端口4567取数据打印出来,在spark-shell运行中 import org.apache.spark._ import org.apa...

2017/07/24 22:28
12
MyBatis学习笔记-HelloWorld

MyBatis配置文件 mybatis-config.xml <properties resource>元素可以指定properties文件位置,导入里面配置的值 <typeAlias>定义了一些别名,如student,用来代替全名com..Student <mapper>...

2017/07/23 16:32
8
Spark学习笔记-SparkSQL

从json文件创建DataFrame 对于json数据,Spark可以自动创建结构类型 import org.apache.spark.sql._ var sqlContext=new SQLContext(sc) var dataFrame=sqlContext.jsonFile("D:/account.js...

2017/07/23 11:31
22
Spark学习笔记-RDD简单算子

collect 返回RDD的所有元素 scala> var input=sc.parallelize(Array(-1,0,1,2,2)) input: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[15] at parallelize at <console>:27 sca...

2017/07/19 20:40
37

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部