加载中
我的背景音乐--像风一样自由

像风一样自由

2019/09/26 10:26
57
FlatMapDemo

import org.apache.spark.sql.SparkSession object FlatMapDemo { def main(args: Array[String]): Unit = { //读取一个文本文件 val spark = SparkSession.builder().master("local") .appN...

FlatMapDemo

import org.apache.spark.sql.SparkSession object FlatMapDemo { def main(args: Array[String]): Unit = { //读取一个文本文件 val spark = SparkSession.builder().master("local") .appN...

RDD创建

创建RDD import org.apache.spark.sql.SparkSession object RddDemo { def main(args: Array[String]): Unit = { //读取一个文本文件 val spark = SparkSession.builder().master("local") ....

wordcount

鸢尾花数据集 下载 https://www.kesci.com/home/dataset/5eb27678366f4d002d76288e/files import org.apache.spark.sql.SparkSession object App{ def main(args: Array[String]): Unit = {...

10/19 19:51
0
python读文件

#!usr/bin/env python # encoding:utf-8 ###删除包含关键字“ Time taken: 0.” def readfile(filename): lines = [line for line in open(filename)] def printTimeTaken(filename): filena...

一片普通的日记

想来写个日记 点进来,看到了以前写的日记,觉得很美好 一个真实 简单 用心 有爱的女孩 听着歌,写个日记啊,也许能解压吧。 前年我还是一个孕妈妈,如今我有2个娃了。 这个世界上又多了两个...

08/24 11:21
0
优化HBASE有感

今天终于把这一块完成了,有点慢,我告诉自己别慌,别急,慢下来。 这是产后回来做的第一个小项目,我有点急,有点慌。 起始于对HBASE一无所知的小白。 接到任务,有点头大。 先把任务分析了...

这篇是转载的,我先记录下来

Hive数据导入Hbase 方案一:Hive关联HBase表方式 适用场景:数据量不大4T以下(走hbase的api导入数据) 一、hbase表不存在的情况 创建hive表hive_hbase_table映射hbase表hbase_table,会自动...

07/28 11:19
36
优化Hbase写入速度

背景:数据从hive写入HBASE http://hbase.apache.org/book.html#precreate.regions 我们先来了解一下这个步骤: 第一步:生成HFILE 第二步:把HFILE导入到HBASE 其中生成HFILE的方式有: do...

python读写文件,处理字符串

一、读文件写入字典 def read_fileR() -> dict: data_dir = "data/space-r" specialRoleDic = dict() with open(data_dir, 'r', encoding='gb2312') as fin: contents = fin.readlines() ......

2019/12/06 11:03
226
python连接数据库

python数据库连接池 查询mysql元数据库某表的列名,列备注和列顺序 def con_mysql(): """mysql -h 0.0.0.0 -p**** -u **** -p**** select COLUMN_NAME,COLUMN_COMMENT from `COLUMNS` where ...

工厂三兄弟之简单工厂模式

工厂模式是最常用的一类创建型设计模式=工厂方法模式。 三兄弟: 简单工厂模式 工厂方法模式 抽象工厂模式

设计模式原则

表1 7种常用的面向对象设计原则

第二章 adapter 加个适配器以便于复用

基础知识 adapter模式又以下两种 类适配器(使用继承的适配器 接口) 对象适配器(使用委托的适配器 类) “委托”这个词太过于正式了,说得通俗点就是“交给其他人”。比如,当我们无法出席...

第一章 iterator

一、 python中的类方法(@classmethod)和静态方法(@staticmethod) classmethod 修饰符对应的函数不需要实例化,不需要 self 参数,但第一个参数需要是表示自身类的 cls 参数,可以来调用类...

2019年1月周记

日期处理 [xmtx]$ abc='2019' [xmtx]$ echo $abc 2019 [xmtx]$ echo $abc"-02-01" 2019-02-01 [xmtx]$ d=$abc"-02-01" [xmtx]$ echo $d 2019-02-01 [xmtx]$ date --date=$d + %Y # ......

2019/01/21 10:31
46
数据仓库流程和代码说明

数据源:业务数据库,如:mysql,埋点数据(XA分发到kafka的topic-->flume-->hdfs---->MR程序解析到HDFS-->HIVE外表关联)。 数据仓库各层(stg-ods-mid-dm-fm):数据图书馆,数据整合 数据应...

读书

孝经:儒家十三经之一,为孔门后学的著作,是孔子给弟子讲孝道的言论。 六经:即《诗经》、《尚书》、《周易》、《礼记》、《春秋》和《乐经》六部经书的总称。 《诗》、《书》、《易》、《礼...

2019/01/08 12:04
23
表操作

字段修改 alter table TA drop partition (day<'2018-12-10'); ALTER TABLE TB ADD COLUMNS (userStatus String) CASCADE; ALTER TABLE TC change appversion appCommonVersion String CASCA...

2019/01/05 11:18
18

没有更多内容

加载失败,请刷新页面

返回顶部
顶部