刘元涛的个人页面 - OSCHINA - 中文开源技术交流社区

使用Nginx做反向代理，代理了3台服务器，由于所有的访问都经过Nginx，发现access日志增长的很快，时间长了，日志文件难免会变得很大，打开查看很不方便，而且会影响服务器性能，因此有必要对...

nginx

服务器运维

11/19 17:49

13

前言我们往往需要关心数据库的查询执行情况，特别是慢查询。本文简述配置ClickHouse查询监控的一种傻瓜方法。开启查询日志打开各个ClickHouse实例的users.xml，在当前使用的profile（如d...

grafana clickhouse go

11/18 14:28

39

前言 ClickHouse为用户提供了丰富的多参聚合函数（parametric aggregate function）和基于数组+Lambda表达式的高阶函数（higher-order function），将它们灵活使用可以达到魔法般的效果。在我...

clickhouse 微信小程序

11/18 14:21

37

在之前的ClickHouse版本中，我们只能通过修改users.xml文件来配置用户及相关的参数（权限、资源限制、查询配额等），不是很方便。好在从20.5版本起，ClickHouse开始支持SQL化的用户配置（如同...

clickhouse mysql postgresql rbac bash

11/18 14:00

24

前言我们在刚开始学习ClickHouse的MergeTree引擎时，建表语句的末尾总会有SETTINGS index_granularity = 8192这句话（其实不写也可以），表示索引粒度为8192。在每个data part中，索引粒度参...

adaptive bash clickhouse

11/18 13:53

10

在我司的ClickHouse DWS层有一张ReplicatedAggregatingMergeTree引擎的物化视图，为近线推荐业务提供关键用户行为的计数值。该物化视图的底表（即所谓“inner”表）有两张，分别从不同的事实...

clickhouse

11/18 13:47

20

本文是基于CentOS 7.9系统环境，进行hive的学习和使用一、Hive的简介 1.1 Hive基本概念 (1) 什么是hive Hive是用于解决海量结构化日志的数据统计工具，是基于Hadoop的一个数据仓库工具，可以...

bash mapreduce hadoop

11/13 17:44

51

本文是基于CentOS 7.3系统环境，进行MapReduce的学习和使用本文是基于CentOS 7.3系统环境，进行MapReduce的学习和使用 1. MapReduce简介 1.1 MapReduce定义 MapReduce是一个分布式运算程序的...

hadoop apache

11/12 22:12

37

本文是基于CentOS 7.3系统环境，进行MapReduce的学习和使用本文是基于CentOS 7.3系统环境，进行MapReduce的学习和使用 1. MapReduce简介 1.1 MapReduce定义 MapReduce是一个分布式运算程序的...

11/12 22:12

0

本文是基于CentOS 7.9系统环境，进行HBase的学习和使用一、HBase的简介 1.1 HBase基本概念 HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库，可以解决HDFS随机写的问题 1.2 HBas...

bash hadoop zookeeper ntp hdfs

11/12 17:57

21

本文是基于CentOS 7.9系统环境，进行Zookeeper的学习和使用 1. Zookeeper简介 1.1 什么是Zookeeper Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。本质上，就是文件...

bash hadoop

中间件

11/12 17:30

25

Kafka的学习和使用本文是基于CentOS 7.9系统环境，进行Kafka的学习和使用一、Kafka的简介 1.1 Kafka基本概念 (1) 什么是Kafka Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于...

bash hadoop apache java eagle zookeeper apache flume bootstrap

中间件

11/12 16:47

17

本文是基于CentOS 7.9系统环境，进行Flume的学习和使用一、Flume的简介 1.1 Flume基本概念 (1) 什么是Flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传...

hadoop hdfs ganglia apache avro

11/12 14:21

8

重要组件： 1）ChannelSelector ChannelSelector的作用就是选出Event将要被发往哪个Channel。其共有两种类型，分别是Replicating（复制）和Multiplexing（多路复用）。 ReplicatingSelector会...

apache flume

大数据与数据挖掘

10/25 20:33

17

Put事务流程 doPut:将批数据先写入临时缓冲区putList。 doCommit:检查channel内存队列是否足够合并。 doRollback:channel内存队列空间不足，回滚数据。 Take事务 doTake:将数据取到临时缓冲区...

apache flume hdfs

大数据与数据挖掘

10/25 20:29

16

从使用场景来说，Clickhouse是个分析型数据库。这种场景下，数据一般是不变的，因此Clickhouse对update、delete的支持是比较弱的，实际上并不支持标准的update、delete操作。下面介绍一下C...

clickhouse

10/22 15:40

66

一、什么是数据的一致性 “数据一致”一般指的是：缓存中有数据，缓存的数据值=数据库中的值。但根据缓存中是有数据为依据，则“一致”可以包含两种情况：缓存中有数据，缓存的数据值=数据库...

canal mysql redis

mysql

10/18 20:00

86

1.Hive开启HiveMetastore和HiveServer2 nohup /opt/module/hive3.1.2/bin/hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 & nohup /opt/module/hive3.1.2/bin/hive --service...

hadoop hive apache yarn dbeaver mapreduce hdfs

10/11 19:18

64

执行bin/hive --service hiveserver2 等待30秒后，Hadoop已经退出安全模式但是绑定的10000端口未成功。各种原因都尝试了，还是不行，查看hive日志。出现权限的问题，我也很纳闷。 java.l...

hive

10/11 18:31

29