加载中
图床

图床专用

11/05 15:48
20
Nginx日志按天自动切割

使用Nginx做反向代理,代理了3台服务器,由于所有的访问都经过Nginx,发现access日志增长的很快,时间长了,日志文件难免会变得很大,打开查看很不方便,而且会影响服务器性能,因此有必要对...

11/19 17:49
13
利用Grafana与系统表监控ClickHouse查询

前言 我们往往需要关心数据库的查询执行情况,特别是慢查询。本文简述配置ClickHouse查询监控的一种傻瓜方法。 开启查询日志 打开各个ClickHouse实例的users.xml,在当前使用的profile(如d...

基于ClickHouse的用户行为(路径)分析实践

前言 ClickHouse为用户提供了丰富的多参聚合函数(parametric aggregate function)和基于数组+Lambda表达式的高阶函数(higher-order function),将它们灵活使用可以达到魔法般的效果。在我...

ClickHouse使用SQL方式创建用户及配置

在之前的ClickHouse版本中,我们只能通过修改users.xml文件来配置用户及相关的参数(权限、资源限制、查询配额等),不是很方便。好在从20.5版本起,ClickHouse开始支持SQL化的用户配置(如同...

聊聊ClickHouse MergeTree引擎的固定/自适应索引粒度

前言 我们在刚开始学习ClickHouse的MergeTree引擎时,建表语句的末尾总会有SETTINGS index_granularity = 8192这句话(其实不写也可以),表示索引粒度为8192。在每个data part中,索引粒度参...

无缝更改ClickHouse物化视图SELECT逻辑的方法

在我司的ClickHouse DWS层有一张ReplicatedAggregatingMergeTree引擎的物化视图,为近线推荐业务提供关键用户行为的计数值。该物化视图的底表(即所谓“inner”表)有两张,分别从不同的事实...

11/18 13:47
20
深入浅出学习Hive

本文是基于CentOS 7.9系统环境,进行hive的学习和使用 一、Hive的简介 1.1 Hive基本概念 (1) 什么是hive Hive是用于解决海量结构化日志的数据统计工具,是基于Hadoop的一个数据仓库工具,可以...

11/13 17:44
51
深入浅出MapReduce

本文是基于CentOS 7.3系统环境,进行MapReduce的学习和使用本文是基于CentOS 7.3系统环境,进行MapReduce的学习和使用 1. MapReduce简介 1.1 MapReduce定义 MapReduce是一个分布式运算程序的...

11/12 22:12
37
深入浅出MapReduce

本文是基于CentOS 7.3系统环境,进行MapReduce的学习和使用本文是基于CentOS 7.3系统环境,进行MapReduce的学习和使用 1. MapReduce简介 1.1 MapReduce定义 MapReduce是一个分布式运算程序的...

11/12 22:12
0
一文彻底搞懂HBase

本文是基于CentOS 7.9系统环境,进行HBase的学习和使用 一、HBase的简介 1.1 HBase基本概念 HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库,可以解决HDFS随机写的问题 1.2 HBas...

一文彻底搞懂Zookeeper

本文是基于CentOS 7.9系统环境,进行Zookeeper的学习和使用 1. Zookeeper简介 1.1 什么是Zookeeper Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。本质上,就是文件...

11/12 17:30
25
一文彻底搞懂Kafka

Kafka的学习和使用 本文是基于CentOS 7.9系统环境,进行Kafka的学习和使用 一、Kafka的简介 1.1 Kafka基本概念 (1) 什么是Kafka Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于...

一问搞懂Flume

本文是基于CentOS 7.9系统环境,进行Flume的学习和使用 一、Flume的简介 1.1 Flume基本概念 (1) 什么是Flume Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传...

Flume Agent内部原理

重要组件: 1)ChannelSelector ChannelSelector的作用就是选出Event将要被发往哪个Channel。其共有两种类型,分别是Replicating(复制)和Multiplexing(多路复用)。 ReplicatingSelector会...

Flume 事务

Put事务流程 doPut:将批数据先写入临时缓冲区putList。 doCommit:检查channel内存队列是否足够合并。 doRollback:channel内存队列空间不足,回滚数据。 Take事务 doTake:将数据取到临时缓冲区...

ClickHouse删除操作

从使用场景来说,Clickhouse是个分析型数据库。这种场景下,数据一般是不变的,因此Clickhouse对update、delete的支持是比较弱的,实际上并不支持标准的update、delete操作。 下面介绍一下C...

10/22 15:40
66
保证MySQL和Redis的数据

一、什么是数据的一致性 “数据一致”一般指的是:缓存中有数据,缓存的数据值=数据库中的值。但根据缓存中是有数据为依据,则“一致”可以包含两种情况: 缓存中有数据,缓存的数据值=数据库...

10/18 20:00
86
使用DBeaver链接Hive

1.Hive开启HiveMetastore和HiveServer2 nohup /opt/module/hive3.1.2/bin/hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 & nohup /opt/module/hive3.1.2/bin/hive --service...

记一次HiveServer2启动不起来问题

执行bin/hive --service hiveserver2 等待30秒后,Hadoop已经退出安全模式 但是绑定的10000端口未成功。 各种原因都尝试了,还是不行,查看hive日志。 出现权限的问题,我也很纳闷。 java.l...

10/11 18:31
29

没有更多内容

加载失败,请刷新页面

返回顶部
顶部