加载中
一文看懂阿里、京东、滴滴大数据架构变迁

来源:大数据研习社 01 大数据技术变迁概述 大数据的概念从上世纪90年代被提出,03-06年Google的3篇经典论文(GFS、MapReduce、Bigtable)作为奠基,Hadoop等优秀系统的出现使之繁荣,经历了...

今晚直播|大数据问题排查思路与案例(附课件)

大数据问题排查思路与案例分享 9月12日(周日)20:00 腾讯会议直播会议 公众号回复912获取会议号和课件 01 常见大数据介绍 02 通用大数据问题排查思路 03 典型问题排查案例分享 04 QA 另外推...

09/12 08:06
26
Hive提高查询效率的八条军规

编辑:数据社,作者:数据一哥 全文共3881个字,建议阅读10分钟 大家好,我是一哥,今天分享一下Hive如何提升查询效率。Hive作为最常用的数仓计算引擎,是我们必备的技能,但是很多人只是会写...

09/13 07:06
17
Flink在中原银行的实践

大家好,我是一哥,今天分享一下,Flink在郑州本地银行的实践。 在构建实时场景的过程中,如何快速、正确的实时同步业务数据是最先面临的问题,本文主要讨论一下如何使用实时处理引擎Apache ...

打车巨头Uber是如何构建大数据平台?

大家好,我是一哥,最近滴滴出的技术少了,给大家分享一下Uber的大数据平台是如何建设的? 随着 Uber 业务的扩张,为公司业务提供支持的基础数据池也在飞速膨胀,其处理成本水涨船高。当大数...

主数据管理实施全流程保姆级教程

大家好,我是一哥,有朋友问我,有没有主数据落地的方案?emmm...我手上有不少方案,但是新的涉密,老的没太大参考价值。 我顺手请教了一下蔡春久老师,发现他们写的《数据治理:工业企业数字...

09/05 08:03
15
Hive SQL突然抛出一条异常……

问题现象 客户端报错如下: Unable to move source xxx to destination xxx 客户端报错 问题分析 客户端的报错信息,并没有完全展现问题背后的全貌。我们进入 hiveserver2 所在节点查看hives...

09/06 07:06
0
从0构建大数据平台,该考虑哪些事情?

大家好,我是一哥,之前写过一系列从0到1搭建大数据平台的系列: 如何从0到1搭建大数据平台 从0到1搭建大数据平台之数据采集系统 从0到1搭建大数据平台之调度系统 从0到1搭建大数据平台之计算...

2小时的直播!常见大数据平台与组件(63页PPT)

大家好,我是一哥,上周日晚上进行了长达两个小时的直播,总计有100多人进入了会议,好多小伙伴从头听到结束。 还有很多没参与直播小伙伴找我要分享材料,今天整理出来给大家。 PPT材料和录音...

08/31 07:06
38
你经历过完整的大数据平台迁移吗?

编辑:数据社,作者:数据一哥 全文共2531个字,建议阅读7分钟 大家好, 我是一哥 ,曾经那一晚经历过一次大数据平台迁移,回想起来历历在目! 01 背景 大数据集群迁移这件事,不知道有多少同...

直播!大数据问题排查思路和案例分享

大家好,我是一哥,8月15号,我们进行了公众号的第一次直播,主要是一些知识的简单介绍和答疑。本周日(8.29)邀请明哥给大家分享一些大数据实战问题排查的思路和案例,欢迎大家参加。 公众号...

08/28 19:06
16
五万字 | 吐血整理,Spark学习与面试收藏这篇就够了!

大家好,我是一哥,今天推荐下园陌大佬的Spark学习笔记,比我之前的3万字《三万字,Spark学习笔记》还要肝! 本文目录: 一、Spark 基础 二、Spark Core 三、Spark SQL 四、Spark Streaming...

大厂面试的“数据思维”到底是什么?

大家好,我是一哥,在大数据时代,数据分析的重要性毋庸置疑。但依然有很多人掌握了数据分析工具和技能,却做不好数据分析。 我们曾经都看到过这样的报道: “某市的人均住房面积是120平米”...

大数据问题排查系列 - HIVE踩坑记

前言 本片博文是“大数据线上问题排查系列”大类别之一,讲述前段时间我司某产品在某券商遇到的一个问题及解决方案,其背后涉及到 hive 的一个 BUG,在 hive 3.0 才修复。以下是正文。 问题现...

又一个巨头决定放弃数仓,全面落地数据湖

随着信息化进程的加快,传统数仓越来越无法适应海量数据存储和分析的需求,天下苦数据仓库久矣! 只能存储结构化数据,无法采集存储非机构化数据 无法存储原始数据,所有数据须经过ETL清洗过...

08/26 07:06
48
直播!大数据问题排查思路和案例分享

大家好,我是一哥,8月15号,我们进行了公众号的第一次直播,主要是一些知识的简单介绍和答疑。本周日(8.29)邀请明哥给大家分享一些大数据实战问题排查的思路和案例,欢迎大家参加。 公众号...

08/27 07:06
0
两万字Flink笔记

编辑:数据社,作者:YZG 全文共14959个字,建议阅读38分钟 大家好,我是一哥,今天再分享一篇之前发过的干货,建议直接收藏,多读几遍,公众号回复关键字 flink 即可下载Flink资料合集。 Fl...

一哥答疑:数据工程师的出路在哪?

大家好,我是一哥,有些读者做了几年数仓,感觉自己就是在做平台、写SQL,提数,对数……。看着身边的产品经理走向了领导岗位,数据分析师走向了领导岗位,而自己还是在“苦逼”的开发、提数...

08/20 07:06
21
pandas创始人手把手教你利用Python进行数据分析(送书福利)

大家好,我是一哥,周末又到了给大家送书的时候了,今天包邮送两本书籍。 送书方式见文末! 导读:Python是目前数据科学领域的王者语言,众多科学家、工程师、分析师都使用它来完成数据相关的...

数仓实战|两步搞定Hive数据加载到Greenplum

如果说Hive是离线数仓的代表,那么Greenplum就是MPP数据库的代表。在离线数仓的年代,以Hive为核心的数据仓库席卷数据仓库市场,几乎成为了离线数仓的代名词。但是Hive的查询能力非常弱,通常...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部