个人空间 - OSCHINA - 中文开源技术交流社区

优化性能本文介绍如何优化 StarRocks 性能。通过建表优化性能您可以在建表阶段通过以下方式优化 StarRocks 性能。选择表类型 StarRocks 支持四种表类型：主键表 (PRIMARY KEY)，聚合表 ...

StarRocks 建表优化聚合表更新表明细表主键表

StarRocks

06/23 13:55

78

%spark_delivery_report import org.apache.spark.sql.SparkSession import org.apache.spark.sql.functions._ import org.apache.spark.sql.expressions.Window import java.sql.{Connectio...

SparkSQL 数据实时抓取类型对应 StarRocks 建表数据导入

spark

06/19 15:19

140

场景：目前正在跑的任务为：mysql-prod-archive_to_starrocks-prod 当启动 mysql-dev-archive_to_starrocks-dev 任务时出现异常问题排查：查看控制台，此时的Task Managers为0 查看Task ...

资源不足 TaskManagers jvm启动参数内存资源 flink配置进程退出

06/11 13:48

89

修改最后一次提交 commit 的信息 # 修改最近提交的 commit 信息 $ git commit --amend --message="modify message by daodaotest" --author="jiangliheng <jiang_liheng@163.com>" # 仅修改 ...

修改commit信息 gitrebase操作 pick修改为edit gitcommit--amend gitrebase--continue

工具

05/30 19:33

81

/** 该写发插入很慢，要一条一条插入 dfFinal.write .format("jdbc") .mode("overwrite") // or "append" .option("driver", "com.mysql.cj.jdbc.Driver") .option("url", "jdbc:mysql:loadb...

StarRocks spark-starrocks-connector StreamLoadHTTPAPI DataFramePartition HTTPPOST

spark

05/29 17:52

70

/** 该写发插入很慢，要一条一条插入 dfFinal.write .format("jdbc") .mode("overwrite") // or "append" .option("driver", "com.mysql.cj.jdbc.Driver") .option("url", "jdbc:mysql:loadb...

Spark StarRocks 数据写入分布式计算实时数据数据仓库

spark

05/29 17:51

58

import org.apache.kafka.clients.consumer.ConsumerRecord; import org.springframework.kafka.annotation.KafkaListener; import org.springframework.kafka.support.Acknowledgment; impo...

05/23 17:01

79

https://blog.csdn.net/weixin_44411039/article/details/135396051 启动脚本添加 @REM cmak launcher script @REM @REM Environment: @REM JAVA_HOME - location of a JDK home dir (option...

消息队列数据流消费者组生产者主题吞吐量

05/23 10:07

84

https://blog.csdn.net/xyajia/article/details/122774159 cd C:\mq\kafka_2.13-3.6.0 .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties .\bin\windows\kafka-serve...

消息队列 Kafka 分布式数据流高吞吐量消费者

05/22 17:08

66

场景：我想以分布式锁来解决这个问题，比如一个流转业务牵扯到 a b c d e 表，另外一个流程业务牵扯到 a c d表，假设 a b c d e 表先执行，那么这些表先加锁，等执行完后释放锁。另外一个...

分布式锁流转业务 abcde表 acd表业务并发死锁方案

java

04/27 15:13

76

@RequestMapping(value = "/aa", method = RequestMethod.GET) public void aa(HttpServletResponse response, @ApiParam PeRuleCouponDetailQueryBean queryBe......

Java 流式导出数据处理性能优化 API使用

java

04/27 15:04

53

2025-03-26 10:44:14,063 WARN org.apache.pekko.remote.transport.netty.NettyTransport [] - Remote connection to [null] failed with java.net.ConnectException: Connection refused: l...

元空间大小 JVM元空间调整配置 Flink配置 flink-conf.yaml 内存溢出

03/27 15:00

169

mybatis puls 异常场景： 1. 在mapper 里面执行ddl 创建表 2. 往新创建的表insert 3. 往新创建的表update 步骤3的时候会有异常： error updating database. cause: java.sql.sqlexception: t...

MyBatisPlus DDL 创建表 insert update 事务分开

mybatis

03/07 11:17

125

Flink CDC（Change Data Capture）是用于从数据库中捕获变更数据的工具，在使用 Flink CDC 同步数据时，常见的方式有 YAML 配置、Flink SQL 和 API 编程，下面为你详细比较这几种方式： 1. Y...

FlinkCDC YAML配置 FlinkSQL API编程数据同步性能优化

02/27 17:33

146

默认是csv格式，这种格式一些特殊字符可能有问题，可以调整为json格式。如以下异常： Caused by: org.apache.flink.util.SerializedThrowable: com.starrocks.data.load.stream.exception.S...

FlinkCDC 数据同步任务格式调整异常处理字符编码

02/27 14:45

68

https://nightlies.apache.org/flink/flink-cdc-docs-release-3.1/docs/connectors/flink-sources/sqlserver-cdc/ package com.aaa.app; import java.time.Duration; import org.apache.flin...

Flink CDC SQL Server 数据同步源数据流处理 Apache

02/26 17:32

70

java.util.concurrent.CompletionException: java.util.concurrent.CompletionException: org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Could not acquire...

集群资源任务并行度 Flink CDC 资源不足并行度可用资源

02/19 16:35

209

这种情况JdbcTemplate 笔比较合适这样写是支持的：  <insert id="insertBatch" useGeneratedKeys="true" keyProperty="...

values mybatis name true jdbctemplate gender usegeneratedkeys insertid aaaa insertintotest

mybatis

02/11 17:57

101

<dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-spring-boot-starter</artifactId> <version>2.2.2</version> </dependency> 配置类： import org.apache.rock...

springboot rocketmq topic

02/11 10:32

135