大鹏的个人空间 - OSCHINA - 中文开源技术交流社区

sparksql

2023/04/13 11:36

212

背景目前我们使用Lambda架构来处理数据，Flink处理实时数据，Spark处理离线数据。Spark离线任务在每天凌晨的0-8点调度执行，在这段时间内，用户是看不到昨日未产出的离线数据的，数据应用对...

starrocks hive spark 数据查询 olap引擎数据处理 flink clickhouse lambda yyyy olap

2022/05/14 11:34

474

数据经过ETL、存储等数据处理过程之后，通过数据应用产品的形式呈现给最终使用方，PC和APP类数据产品以各类不同用途的数据大屏、看板将数据指标展示给管理者、运营和业务人员，数据应用后端也...

sentinel springcloud 负载均衡器 springboot 其他 springcloudalibaba zuul 开源 api网关

2022/05/02 10:03

444

什么是数据应用数据应用是通过各种各样的数据分析方式将数据展示出来，给决策者、管理者、运营等人员透传数据价值的工具，帮助决策者、管理者及时调整战略目标、公司目标、业务目标，帮助运...

starrocks clickhouse 数据存储 kafka j2ee flink hive 大数据数据处理前端框架

2022/04/18 17:07

675

滴滴集团作为生活服务领域的头部企业，正在全面测试和上线StarRocks，其中橙心优选经过一年多的数据体系建设，我们逐渐将一部分需要实时交互查询、即席查询的多维数据分析需求由ClickHouse迁...

starrocks hive kafka spark clickhouse 多维数据分析大数据 flink bitmap 数据处理 mysql

2021/09/27 18:04

1.3K

2021/06/08 17:57

514

背景前段时间我们Hadoop集群磁盘使用率比较高，部分硬盘空间使用超过了70%，这部分服务器的DataNode服务读写负载就比较高，造成部分数据同步任务因为读写超时而失败。具体场景和异常跟这篇博...

hdfs client timeout hadoop apache core-namenode common server ping datanode interval false true

2020/10/25 11:32

6.9K

问题背景某个业务线使用Redis集群保存用户session数据，数据量大约在4千万-5千万，每天发生3-4次AOF重写，每次时间持续30-40秒，AOF重写期间出现Redis主进程阻塞，应用端响应超时的问题。 ...

rewrite redis session auto 大数据 rdb fsync appendfsync master slave redisaof fork bgrewriteaof

redis

2020/05/26 11:23

7.2K

这个问题又让我们碰到了，发生次数不频繁但是一旦发生就会造成ResourceManager服务崩溃、ZK注册watch过多等问题。不彻底解决这个问题心中一直是个梗，所以基于前两次的分析和阅读社区最新版H...

yarn watch hashmap application zookeeper hadoop 大数据 hbase store 存储系统 spark github

2020/05/10 21:35

1.7K

7

Hadoop/HDFS/MapReduce/Impala被设计用于存储和处理大量文件的场景，比如TB或者PB级别数据量的文件。大量小文件对查询性能有很大的影响，因为NameNode要保存大量的HDFS文件元数据，一次性查询...

bzip2 bigfile hdfs impala hadoop kaggle 操作系统 mapreduce smallfiles

2020/03/21 16:55

2K

问题背景 BI同学会用Impala在Kudu表上跑一些ETL任务，最近，BI同学反馈一个Kudu表的ETL任务突然变慢，执行时间从原来的不到1分钟到现在的7分钟。解决过程下文中提到的软件环境为： Impala...

kudu auto profile impala session blob https manual timer kudusession kudutablesink hdfs tracker

2020/03/09 18:46

7.8K

背景 YARN调度效率不高，队列资源充足，集群中正在运行的任务数量少，资源利用率低的情况下有一部分任务排队，等待分配资源时间长。注：我们的集群使用的是Apache Hadoop 2.6.3，以下内容以...

yarn fair 监控系统 server apache heartbeat hadoop scheduler nodemanager assign container

2020/02/10 21:05

2.6K

在本系列的第三部分，我使用了一个示例来详细地介绍Impala query profile。在这一部分中，我将使用一个真实生产系统的Impala Profile文件，解释我在遇到问题时阅读Profile文件的步骤，并逐渐...

profile hdfs est impala 浏览器 impalaqueryprofile impalad summary scanhdfs rows xxxxxx avgtime

2020/02/05 23:43

1.9K

Java反射使我们能在程序运行时动态调用某个对象的方法/构造函数、获取某个对象的属性，经常用于实现动态代理、工厂模式、Java JDBC加载连接驱动类等，近期阅读开源项目源码发现，它还有一种重...

hdfs java server 工厂模式 apache 开源 hadoop lang inodemap inode test1 abstractqueryengine

java

2019/12/14 11:10

738

在本博客系列的第3部分，我将仍然关注查询计划（Query Plan）和执行摘要（Execution Summary），但是将使用真实数据（Kaggle’s Flights Delay database），来执行一个更复杂的查询。测试用...

impala flight profile fetch kaggle 大数据 shell hdfs delay flights querytimeline 10mb

2019/12/08 11:57

4K

在上一篇文章中，我们介绍了Impala query profie的概要部分，在本篇文章我们介绍Profile的查询计划（Query Plan）和执行概要（Execution Summary）部分。 Profile的查询计划和执行概要如下所...

impala profile est hdfs 时间范围 worker stats hosts rows aggregation unavailable scan scanhdfs

2019/12/08 11:30

3.8K

很多Impala用户不知道如何阅读Impala query profile来了解一个查询背后正在执行的操作，从而在此基础上对查询进行调优以充分发挥查询的性能。因此我想写一篇简单的文章来分享我的经验，并希望...

profile impala shell session impalaqueryprofile impaladaemon queryprofile impalad outofmemory

2019/12/08 10:47

5.3K

本文编译自IBM开发者社区，主要介绍了HDFS中小的ORC和Parquet文件的问题，以及这些小文件如何影响Big SQL的读取性能，并探索了为了提高读取性能，使用现有工具将小文件压缩为大文件的可能解决...

parquet orc hdfs bigsql hive tools hadoop 分布式文件系统检查工具命令行工具

2019/10/07 15:39

4.7K

在YARN的原生任务监控界面中，我们经常能看到Aggregate Resource Allocation这个指标（图中高亮选中部分），这个指标表示该任务拥有的所有container每秒所消耗的资源（内存、CPU）总和： Ag...

yarn server hadoop apache aggregateresourceallocation scheduler synchronized resourcemanager

2019/08/31 11:33

3.8K