燚-焱的个人空间 - OSCHINA - 中文开源技术交流社区

1、背景在我们的项目中有这么一个场景，需要消费kafka中的消息，并生成对应的工单数据。早些时候程序运行的好好的，但是有一天，我们升级了容器的配置，结果导致部分消息无法消费。而消费者...

common .config kafka par util.concurrent java forkjoinpool parallelism forkjoin runasync topic

java

2024/03/24 16:05

49

1、背景在我们开发的过程中有这么一种场景， /projectA 目录是 hadoopdeploy用户创建的，他对这个目录有wrx权限，同时这个目录属于supergroup，在这个组中的用户也具有这个目录的wrx权限，对...

hadoop hdfs common html docs https root apache projecta setfacl hdfsdfs setfaclhdfs current muser

2023/06/05 12:30

16

1、背景我们知道，在mac系统上删除文件，一般情况下是可以进入废纸篓里的，如果此时我们误删除了，还可以从废纸篓中恢复过来。那么在hdfs中是否存在类似mac上的废纸篓这个功能呢？答案是存...

trash core-hdfs site current user username hdfstrash 1core hdfs2

2023/05/25 20:05

24

1、背景此处简单的记录一下在 oracle中如何使用plsql语法，记录一些简单的例子，防止以后忘记。 2、变量的声明 declare -- 声明变量 v_name varchar2(20); -- 此变量由 select into 赋值 v_...

java oracle support loop bulkinto forall6 database appdev b14261 ddldml while record1 objects http

数据库

2023/05/13 13:05

35

1、背景当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节...

hadoop hosts hdfs namenode hadoop04 resourcemanager refreshnodes workers hdfsdfsadmin site vimhdfs

2023/04/04 12:26

28

1、背景在我们的hadoop集群运行一段过程中，由于多种原因，数据在DataNade的磁盘之间的分布可能是不均匀。比如：我们刚刚给某个DataNode新增加了一块磁盘或者集群上存在大批量的write & d...

https hadoop plan 数据存储 hdfs docs help 命令行工具 apache disk diskbalancer datanode

2023/03/31 12:29

88

1、背景当我们的hadoop集群运行了一段时间之后，各个DataNode上的数据分布并不一定是均匀分布的。比如说：我们向现有集群中添加了一个新的DataNode。 2、什么是平衡此处是我自己的一个简单...

hadoop https html hdfs help 负载均衡器 docs datanode apache blockpools hdfsbalancer blockpool

2023/03/30 12:30

44

1、背景在HDFS中，读取操作通常是通过DataNode。因此，当客户端要读取文件时，DataNode 会从磁盘上读取文件，然后通过TCP套接字将数据发送给客户端。如果我们的客户端和数据在同一台机器上的...

hadoop short hdfs apache docs https server 文件系统 datanode circuitlocalreads libhadoop stable

2023/03/27 20:09

58

@[TOC] 1 背景在我们实际的开发过程中，我们的某些数据可能经常使用，但是过了一段时间，这个数据就不怎么使用了，即我们的数据存在一个热、温、冷等这些特性。那么针对数据的热度，我们可以...

hdfs hadoop warm docs https 数据存储 apache data lazy storage disk 外存 persist archive disk0

2023/03/20 19:26

59

1、背景最近用到了Spring Cloud Alibaba开发微服务，在开发的过程中发现，当我们的服务上线或下线的时候，我们的Spring Cloud Gateway需要一段时间才能感知到，那么有没有办法能够让服务立即...

nacos https github spring-cloud-alibaba feign spring debug tree springcloudalibaba gitee lossless

Spring Cloud

2023/03/13 12:33

52

@[TOC] 1、背景在上一节中，我们简单学习了在命令行上如何操作hdfs shell api，此处我们通过java程序来操作一下。 2、环境准备需要在本地环境变量中配置 HADOOP_HOME 或在程序启动的时候通...

hadoop home java https blob util gitee spring-cloud log4j hdfs apache shell javaapi test hdfsapitest

2023/03/02 12:46

41

@[TOC] 1、背景此处我们通过命令行，简单的学习一下 hdfs file system shell 的一些操作。 2、hdfs file system shell命令有哪些我们可以通过如下网址https://hadoop.apache.org/docs/curr...

文件系统 hadoop html common docs core-skip https hdfs shell apache delete usage hadoopfs trash

2023/03/01 12:40

38

1、背景最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。...

hadoop yarn hdfs https core-docs apache 文件路径 common mapreduce jdk java confluence hadoop01

2023/02/21 12:41

91

1、背景最近在学习hadoop，此篇文章简单记录一下通过源码来编译hadoop。为什么要重新编译hadoop源码，是因为为了匹配不同操作系统的本地库环境。 2、编译源码 2.1 下载并解压源码 [root@ha...

hadoop https jdk java cmake apache confluence client-build-操作系统 mapreduce .net snappy

2023/02/20 12:38

33

1、背景此篇文档仅仅是简单的记录一下painless的一些简单的例子，防止以后忘记，不过多涉及painless的语法。 2、准备数据 2.1 mapping PUT /index_person { "mappings": { "properties": { ...

update pipeline null https small json index debug guide elastic elasticsearch painless source params

2023/02/09 12:28

107

1、背景此篇文档简单的记录一下在es使用bucket script来进行聚合的一个例子。 2、需求假设我们有一个简单的卖车数据，记录每个月month在卖了brand品牌的车salesVolume的数量。此处我们需要...

https java search html guide elasticsearch docs pipeline reference elastic base blob pipeline-

2023/02/07 12:40

59

1、背景在我们使用es的开发过程中可能会遇到这么一种情况，比如我们的线路名称字段lineName字段在设置mapping的时候使用的是text类型，但是后期发现需要使用这个字段来进行聚合操作，那么我...

https reference guide blob runtime spring-cloud runtimefield java gitee elasticsearch elastic

2023/02/01 22:28

47

1、背景在我们向es中写入数据时，有些时候数据写入到es中的是null，或者没有写入这个字段，那么这个时候在es中该如何查询出这种为null的数据呢？ 2、需求假设我们的mapping存在如下2个字段...

null reference guide https elastic elasticsearch html name address value mapping text query integer

2023/01/29 21:18

38

1、背景一般情况下，有些搜索需求是需要根据拼音和中文来搜索的，那么在elasticsearch中是如何来实现基于拼音来搜索的呢？可以通过elasticsearch-analysis-pinyin分析器来实现。 2、安装拼音...

pinyin elasticsearch tokenizer tree https search github analyzer custom analysis medcl token mapping

2023/01/15 12:21

215