加载中
delta-lake 系列-入门批量读取

##写在前面 delta完全依赖spark api 对Parquet文件进行操作,所以在我们编写delta代码的时候,需要了解 spark sql ,spark structed streaming 相关的知识。 ##Maven依赖 <properties> <scal...

delta-lake 系列— delta对比hudi

hudi原是uber开发的hoodie项目,贡献给apache后,改名为hudi,从表面功能上来看看,于delata相比,两者都作为一个数据存储层来处理出现的数据湖的各种问题,比如准实时数据更新等。下面我们具...

2019/11/19 11:20
2.7K
delta-lake 系列(二)-delta lake

#delta lake 简介 当我们的主流架构模型依托HATP的时候,我们的数据来源因为hadoop的存在而变得更加旷阔,例如在我们公司,目前的数据源有kafka、aws kinesis、 第三方数据api、aws s3文件、...

2019/11/18 18:41
190
delta-lake 系列一 数据架构发展趋势

delta-lake的初衷 数据架构大势所趋 数据架构衍生(一)———— OLTP On-Line Transaction Processing联机事务处理过程(OLTP),也叫面向交易的处理过程,其基本特征是前台接收的用户数据(应用...

spark structed streming 学习

定义 Spark在2.*版本后加入StructedStreaming模块,与流处理引擎Sparkstreaming一样,用于处理流数据。但二者又有许多不同之处。 Sparkstreaming首次引入在0.*版本,其核心思想是利用spark批...

maven 错误

导入maven项目出现 Unsupported IClasspathEntry kind=4 错误

2016/07/06 10:39
18
java jvm学习

jvm 是我们做java系统优化必备掌握的基础知识,需要了解其中的主要架构和运行逻辑,以及在工作中使用的那些工具来辅助解决问题

2015/10/12 12:44
10
jvm十万个为什么

本文会持续更新,主要记录在学习jvm过程中个各种为什么的思考,不会系统形成文章 1、jvm中jmm中对堆栈进行才分的初衷是什么? 2、其中内存管理模型是怎样的,内存的本质是什么? 3、堆栈的设...

ThreadLocal源码解读

我们在做dubbo调用链接的时候,通常会用到ThreadLocal,存储span信息,当时考虑的主要是ThreadLocal能够保证数据在本线程内是安全唯一的,但是ThreadLocal到底有哪些api功能和实现原理呢?为...

05/27 11:36
18
spark structed streming 学习

现在之前,看spark structed streaming 的定义: Spark在2.*版本后加入StructedStreaming模块,与流处理引擎Sparkstreaming一样,用于处理流数据。但二者又有许多不同之处。 Sparkstreaming...

2019/11/18 14:55
107
区块链——hyperledger之安装fabric

区块链——hyperledger之安装fabric

2017/08/03 10:07
470
dubbo fastJson

dubbo fastjson 一些使用规范记录

2016/05/31 16:02
457
Imp数据配置

第一步:删除可能影响导入数据的用户 DROP USER ANONYMOUS CASCADE; DROP USER OUTLN CASCADE; DROP USER WMSYS CASCADE; DROP USER ORDSYS CASCADE; DROP USER ORDPLUGINS CASCADE; DROP US...

Spring MVC

基于注解驱动的 Spring MVC 3.0 工作机制 配置方式 Web.xml <!-- Spring Context初始化的配置文件 --> <context-param> <param-name>contextConfigLocation</param-name> <param-value>/WEB...

2015/10/29 18:12
21
58同城网站的一些想法

对于中国现阶段互联网中的一些bbs类型网站或者是对于一些像58同城之类的关注百姓生活相关的一个信息发布和交流平台,自我感觉还是只做到了第一个阶段,如果能够把当前拥有的各种信息数据加上...

2015/10/29 18:12
149
java集合框架 arrayblockingqueue应用分析

ArrayBlockingQueue是一个由数组支持的有界阻塞队列。此队列按 FIFO(先进先出)原则对元素进行排序。队列的头部 是在队列中存在时间最长的元素 Queue ------------ 1.ArrayDeque, (数组双端...

2015/10/29 18:12
4
二手房首付问题

一直以来,我们在网络上或者在首次准备购房的时候,考虑的首付成本都是采用的网络上或者中介告诉我们的业主买这套房子的价格进行乘以0.3来作为我们的首付款来进行考虑,起始这样的算法是打错...

2015/10/29 18:12
39
hibernate封装

有幸和一个技术比较厉害的同事做项目,本来快要失败的项目被死死的整活了,以下是他对hibernate的封装,可以放在线程里使用的哦(以前不知道呢,-_-!,hibernate的功能真大啊 ) package com....

2015/10/29 18:12
114
Report Mash up Design and Implementation

Report Mash up Design and Implementation Goal The Goal of this document is to address reportmodel in current system; combine mashup framework design very strong reportmodel in o...

2015/10/29 18:12
1
一生中应该遇到的八种人

1.遇到你真正愛的人時─ 要努力爭取和他相伴一生的機會。因為當他離去時,一切都來不及了。 2.遇到可相信的朋友時─ 要好好和他相處下去。因為在人的一生中,可遇到知己真的不易。 3.遇到人生...

2015/10/29 18:11
44

没有更多内容

加载失败,请刷新页面

返回顶部
顶部