加载中
delta-lake 系列-入门批量读取

##写在前面 delta完全依赖spark api 对Parquet文件进行操作,所以在我们编写delta代码的时候,需要了解 spark sql ,spark structed streaming 相关的知识。 ##Maven依赖 <properties> <scal...

delta-lake 系列— delta对比hudi

hudi原是uber开发的hoodie项目,贡献给apache后,改名为hudi,从表面功能上来看看,于delata相比,两者都作为一个数据存储层来处理出现的数据湖的各种问题,比如准实时数据更新等。下面我们具...

2019/11/19 11:20
2.7K
delta-lake 系列(二)-delta lake

#delta lake 简介 当我们的主流架构模型依托HATP的时候,我们的数据来源因为hadoop的存在而变得更加旷阔,例如在我们公司,目前的数据源有kafka、aws kinesis、 第三方数据api、aws s3文件、...

2019/11/18 18:41
242
delta-lake 系列一 数据架构发展趋势

delta-lake的初衷 数据架构大势所趋 数据架构衍生(一)———— OLTP On-Line Transaction Processing联机事务处理过程(OLTP),也叫面向交易的处理过程,其基本特征是前台接收的用户数据(应用...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部