大家好，我是一哥，最近有一位数据新人小伙伴私聊我：在平时的工作中会面临着大量的数据需求，不仅多，而且杂，请问如何处理面对这些问题？有没有什么好的提高工作效率的方法？ 其实不止是作...

编辑：数据社，作者：数据一哥 全文共3881个字，建议阅读10分钟 大家好，我是一哥，今天分享一下Hive如何提升查询效率。Hive作为最常用的数仓计算引擎，是我们必备的技能，但是很多人只是会写...

大数据问题排查思路与案例分享 9月12日（周日）20:00 腾讯会议直播会议 公众号回复912获取会议号和课件 01 常见大数据介绍 02 通用大数据问题排查思路 03 典型问题排查案例分享 04 QA 另外推...

大家好，我是一哥，今天分享一下，Flink在郑州本地银行的实践。 在构建实时场景的过程中，如何快速、正确的实时同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Apache ...

大家好，我是一哥，有朋友问我，有没有主数据落地的方案？emmm...我手上有不少方案，但是新的涉密，老的没太大参考价值。 我顺手请教了一下蔡春久老师，发现他们写的《数据治理：工业企业数字...

大家好，我是一哥，之前写过一系列从0到1搭建大数据平台的系列： 如何从0到1搭建大数据平台 从0到1搭建大数据平台之数据采集系统 从0到1搭建大数据平台之调度系统 从0到1搭建大数据平台之计算...

编辑：数据社，作者：数据一哥 全文共2531个字，建议阅读7分钟 大家好， 我是一哥 ，曾经那一晚经历过一次大数据平台迁移，回想起来历历在目！ 01 背景 大数据集群迁移这件事，不知道有多少同...

大家好，我是一哥，上周日晚上进行了长达两个小时的直播，总计有100多人进入了会议，好多小伙伴从头听到结束。 还有很多没参与直播小伙伴找我要分享材料，今天整理出来给大家。 PPT材料和录音...

大家好，我是一哥，在大数据时代，数据分析的重要性毋庸置疑。但依然有很多人掌握了数据分析工具和技能，却做不好数据分析。 我们曾经都看到过这样的报道： “某市的人均住房面积是120平米”...

大家好，我是一哥，8月15号，我们进行了公众号的第一次直播，主要是一些知识的简单介绍和答疑。本周日（8.29）邀请明哥给大家分享一些大数据实战问题排查的思路和案例，欢迎大家参加。 公众号...

大家好，我是一哥，8月15号，我们进行了公众号的第一次直播，主要是一些知识的简单介绍和答疑。本周日（8.29）邀请明哥给大家分享一些大数据实战问题排查的思路和案例，欢迎大家参加。 公众号...

随着信息化进程的加快，传统数仓越来越无法适应海量数据存储和分析的需求，天下苦数据仓库久矣！ 只能存储结构化数据，无法采集存储非机构化数据 无法存储原始数据，所有数据须经过ETL清洗过...

大家好，我是一哥，今天给大家分享一篇数仓工作思考的文章。 小 A 糊里糊涂进入一家网约车出现服务公司，负责公司数仓建设，试用期主要一项 KPI 是制定数据仓库建设规划；因此小 A 本着从问题...

一 . 前言 前段时间写过一篇关于TDH 集群的许可证管理机制及TDH集群的卸载与安装d的博文： TDH 集群的许可证管理机制及TDH集群的卸载与安装 该片博文的核心意思如下： 星环的tdh大数据平台执...

如果说Hive是离线数仓的代表，那么Greenplum就是MPP数据库的代表。在离线数仓的年代，以Hive为核心的数据仓库席卷数据仓库市场，几乎成为了离线数仓的代名词。但是Hive的查询能力非常弱，通常...

大家好，我是一哥，周末又到了给大家送书的时候了，今天包邮送两本书籍。 送书方式见文末！ 导读：Python是目前数据科学领域的王者语言，众多科学家、工程师、分析师都使用它来完成数据相关的...

大家好，我是一哥，有些读者做了几年数仓，感觉自己就是在做平台、写SQL，提数，对数……。看着身边的产品经理走向了领导岗位，数据分析师走向了领导岗位，而自己还是在“苦逼”的开发、提数...

曾有人调侃：HBase 没有资源什么事情也做不了，Spark 占用了资源却没有事情可做？ 那 YARN了解一下？ 01 YARN！ 伴随着Hadoop生态的发展，不断涌现了多种多样的技术组件 Hive、HBase、Spark...

作者介绍 井显生，2019年加入去哪儿，现负责国内机票出票、退款、改签核心业务。在领域驱动设计(DDD)、高并发有大量实践经验。 一、前言 去哪儿网国内机票售后是为用户提供退票、改签、航班变...

大家好，我是一哥，昨天晚上跟明哥一起做了直播，直播中大家提了一些问题，也给大家做了解答，在这再次分享一下： 问题一：大数据产品经理需要有哪些技能？ 问题二：大数据采集平台/自主分析...