加载中
RTMonitor[读取kafka数据]

object RTMonitor{ // 屏蔽日志 Logger.getLogger("org.apache").setLevel(Level.WARN) def main(args:Array[String]): Unit = { val load = ConfigFactory.load() // 创建kafka相关参数 va...

2018/08/31 10:46
58
mongodb集群安装

###【在多台机器上执行下面的命令 #在所有创建一个xiaoniu普通用户: useradd xiaoniu #为xiaoniu用户添加密码: echo 123456 | passwd --stdin xiaoniu #将xiaoniu添加到sudoers echo "xia...

2018/06/08 15:51
19
nginx安装ngx_kafka_module插件直接对接kafka集群

安装环境: centos 6.5 64位 所需软件版本: jdk1.8.0_171 nginx-1.12.2.tar.gz kafka_2.11-0.10.2.1.tgz zookeeper-3.4.5.tar.gz scala-2.11.4.tgz 所需服务器:4台(三台安装scala、zooke...

2018/06/01 17:39
90
SparkSQL开窗函数topN销售额统计

package cn.spark.study.sql; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.sql.DataFrame; import org.apache.spark...

2017/10/27 17:00
16
spark sql 读取json数据并查询

package cn.hhb.spark.sql import org.apache.spark.sql.{DataFrame, SQLContext} import org.apache.spark.{SparkConf, SparkContext} /** * Created by Administrator on 2017/9/21 00...

2017/10/23 23:08
26
Spark SQL parquet-json-jdbc访问

Spark SQL Json文件存储 ------------------------------------------- df.write.json("file://home/centos/json") val df = spark.read.json("file://home/centos/json") parquet:文件格式...

2017/10/23 17:33
13
Hbase笔记

Hbase笔记 ================= 查看表:   list 创建表:   create 'user', 'info' 查看表信息:   describe 'user' 插入数据: 表名 row key 列簇:列名 列值   put 'user', '10001'...

2017/10/18 22:11
7
Flume笔记

flume --------------   是分布式、可靠、可用性好服务,用于手机、聚合、移动大量日志数据。   基于流计算的简单灵活架构,用于在线分析 stream --------------   动态计算 flume优点 ------...

2017/10/13 16:13
14
Hive基本操作

create database db_hive; show databases; use db_hibe; create table student(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; show tables; desc student;#查看表...

2017/10/07 23:19
12
spark mllib推荐算法使用

一、pom.xml <!-- 机器学习包 --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-mllib_2.10</artifactId> <version>...

2017/09/28 21:02
26
word中文分词器使用

一、pom.xml <!-- 分词库 --> <dependency> <groupId>org.apdplat</groupId> <artifactId>word</artifactId> <version>1.2</version> ...

2017/09/28 21:00
95
本地模式运行spark streaming程序(win7安装nc命令通信)

首先在win7上安装nc命令 下载nc程序包,放在c盘目录下,cmd打开命令行,进入nc目录,执行:nc -l -L -p 8888开始监控。再打开一个命令行窗口进入nc目录,执行nc localhost 8888命令进行测试,...

2017/09/24 15:41
51
标签生成器

package com.hhb.spark.core import org.apache.spark.{SparkConf, SparkContext} import com.alibaba.fastjson.JSON /** * 标签生成器 * Created by dell on 2017/9/20. */ objec...

2017/09/20 18:01
54
SparkSQLUDF自定义函数案例

package com.hhb.spark.sql import org.apache.spark.sql.{Row, SQLContext} import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.types.{StructField, _} /*...

2017/07/31 14:28
13
SparkSQL内置函数统计每日销售金额实例

package com.hhb.spark.sql import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.{Row, SQLContext} import org.apache.spark.sql.types.{StructField, _} imp...

2017/07/28 15:11
22
SparkSQL内置函数统计uv实例

package com.hhb.spark.sql import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.{Row, SQLContext} import org.apache.spark.sql.types.{IntegerType, String...

2017/07/28 14:45
11
SparkSQLJDBC数据源实例

package cn.hhb.spark.sql; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api...

2017/07/27 16:56
11
SparkSQLHive数据源实例

package cn.hhb.spark.sql; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.sql.DataFrame; import org.apache.spark.s...

2017/07/27 16:05
6
查询分数大于80分的学生信息java版本实例

package cn.hhb.spark.sql; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api...

2017/07/27 11:40
26
使用Scala编程方式将RDD转换成DataFrame

package com.hhb.spark.sql import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.{Row, SQLContext} import org.apache.spark.sql.types.{IntegerType, String...

2017/07/26 15:43
14

没有更多内容

加载失败,请刷新页面

返回顶部
顶部