刘元涛的个人页面 - OSCHINA - 中文开源技术交流社区

重要组件： 1）ChannelSelector ChannelSelector的作用就是选出Event将要被发往哪个Channel。其共有两种类型，分别是Replicating（复制）和Multiplexing（多路复用）。 ReplicatingSelector会...

apache flume

大数据与数据挖掘

10/25 20:33

9

0

Put事务流程 doPut:将批数据先写入临时缓冲区putList。 doCommit:检查channel内存队列是否足够合并。 doRollback:channel内存队列空间不足，回滚数据。 Take事务 doTake:将数据取到临时缓冲区...

apache flume hdfs

大数据与数据挖掘

10/25 20:29

8

0

从使用场景来说，Clickhouse是个分析型数据库。这种场景下，数据一般是不变的，因此Clickhouse对update、delete的支持是比较弱的，实际上并不支持标准的update、delete操作。下面介绍一下C...

clickhouse

10/22 15:40

21

0

一、什么是数据的一致性 “数据一致”一般指的是：缓存中有数据，缓存的数据值=数据库中的值。但根据缓存中是有数据为依据，则“一致”可以包含两种情况：缓存中有数据，缓存的数据值=数据库...

canal mysql redis

mysql

10/18 20:00

59

0

1.Hive开启HiveMetastore和HiveServer2 nohup /opt/module/hive3.1.2/bin/hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 & nohup /opt/module/hive3.1.2/bin/hive --service...

hadoop hive apache yarn dbeaver mapreduce hdfs

hadoop

10/11 19:18

55

0

执行bin/hive --service hiveserver2 等待30秒后，Hadoop已经退出安全模式但是绑定的10000端口未成功。各种原因都尝试了，还是不行，查看hive日志。出现权限的问题，我也很纳闷。 java.l...

hive

hadoop

10/11 18:31

20

0

获取二进制产品包 https://starrocks.com/zh-CN/download/request-download/1 tar -xzvf StarRocks-1.8.2.tar.gz 重命名：mv StarRocks-1.8.2/ start_rocks1.8.2 目录内容如下: StarRocks-X...

mysql

大数据与数据挖掘

10/08 15:42

20

0

下载地址：https://downloads.apache.org/hive/hive-3.1.2/ 解压在指定目录 tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/ mv /opt/module/apache-hive-3.1.2-bin/...

hive apache derby mysql guava apache hadoop

hadoop

09/29 17:04

51

0

调优参数列表（1）Resourcemanager相关 yarn.resourcemanager.scheduler.client.thread-count ResourceManager处理调度器请求的线程数量 yarn.resourcemanager.scheduler.class 配置调度器 ...

hadoop yarn

hadoop

09/28 18:03

12

0

Hadoop小文件弊端每个文件均按块存储，每个块的元数据存储在NameNode的内存中，因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。但注意，存储小文件所需要的...

hdfs java hadoop

hadoop

09/28 17:57

13

0