SelectDB的个人空间 - OSCHINA - 中文开源技术交流社区

随着业务的蓬勃发展，各企业对数据处理的灵活性和可扩展性提出了更高的要求。在此背景下，JSON、XML 等半结构化数据凭借其较强的灵活性在众多企业得到广泛应用。然而，传统关系型数据库结构严...

json schema 数据存储 extract payload elasticsearch 关系型数据库其他 variant

应用实践

09/12 18:44

1.6K

1

需求起源 SelectDB 设计多计算集群架构初衷主要源于两类典型的使用场景：写入与读取隔离：传统数仓架构中，数据的写入和读取在同一个计算集群，当遇到业务写入高峰期或突增的写入压力时，容...

其他关系型数据库分布式系统 selectdb mysqlclient 数据查询云原生 data

技术干货

09/11 17:27

653

0

Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着 Apache Doris 用户...

trino kafka iceberg kudu deltalake hive hudi home 其他 doris docker github 数据查询 presto

实操系列

09/06 12:02

344

0

在竞争激烈的消费金融市场中，有效利用海量数据、提升业务运营效率是赢得市场的关键。早期招联采用典型的 Lambda 架构提供业务报表、数据运营、个性推荐、风险控制等数据服务，而 Lambda 过多...

vertica 计算引擎 flink clickhouse kafka 数据查询开源 hbase doris impala watermark

技术干货

08/29 18:38

1.5K

0

作者：MiniMax 基础架构研发工程师 Koyomi、香克斯、Tinker 导读：早期 MiniMax 基于 Grafana Loki 构建了日志系统，在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始...

日志系统 loki kafka grafanaloki ilogtail elasticsearch index match grafana minimax

技术干货

08/22 18:38

1.7K

0

近日，由中国通信标准化协会、大数据技术标准推进委员会主办，InfoQ 极客传媒联合主办的 “2024 可信数据库发展大会” 在京成功召开。此次大会汇聚了众多数据库行业领军企业、专家学者，共同...

大数据开源云原生 selectdb schema kafka spark 可视化数据库应用 clickhouse json

动态

08/09 17:59

50

0

湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，能够更加便捷地满足各种数据处理分析的需求。Apache Doris 持续加深与数据湖的融合，已演进出...

iceberg transform 数据处理存储系统其他 apachedoris update tree schema delete meta https

实操系列

08/02 16:20

2K

0

湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，Apache Doris 持续加深与...

iceberg tree deltalake docker flink 存储系统数据处理 https update reader trino delete

技术干货

07/25 11:01

2.4K

0

原

荐

计算效率提升 30 倍、存储资源节省 90%，雨润集团基于 Apache Doris 的统一实时数据仓库建设实践

作者：石公星，雨润集团基础数据平台架构师导读：数字化转型的浪潮中，高效准确的数据分析能够帮助雨润集团快速洞察市场动态、优化供应链管理、提高生产效率。雨润集团引入了 Apache Doris...

mysql hive 数据处理 hbase flink oracle spark doris 转换工具 sqoop hdfs redis kafka

技术干货

07/18 18:35

2.9K

0

作者：SelectDB 技术团队导读：湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版...

hudi spark iceberg cow hive 数据查询数据处理 docker deltalake 大数据存储系统

实操系列

07/11 14:15

1.3K

0

导读：随着快成物流的大宗商品产业链的不断发展，货运轨迹规划和实时数据分析的需求日益迫切，为了保障数据报表更新、用户画像圈选与物流轨迹实时更新等大数据核心系统性能，快成物流引入 Ap...

大数据 mysql clickhouse 数据处理 hive 数据存储 doris jdbc 地理信息系统 kafka spark

应用实践

07/03 18:54

1K

0

导读：随着网易游戏品类及产品的快速发展，游戏数据分析场景面临着越来越多的挑战，为了保证系统性能和 SLA，要求引入新的组件来解决特定业务场景问题。为此，网易游戏引入 Apache Doris 构建...

hive elasticsearch trino profile olap引擎 seatunnel kafka spark hbase galaxy metrics 可视化

应用实践

06/28 15:34

1.2K

0

作者：字节跳动数据平台在直播、电商等业务场景中存在着大量实时数据，这些数据对业务发展至关重要。而在处理实时数据时，我们也遇到了诸多挑战，比如实时数据开发门槛高、运维成本高以及资...

flink olap引擎 kafka hive 数据存储计算引擎 quartz postgresql redis spark hdfs doris abase

应用实践

06/26 11:24

1.3K

0

编辑：SelectDB 技术团队在当今数据驱动的时代，如何高效、有序地管理数据库中的海量数据成为挑战。为了处理庞大的数据集，分布式数据库引入了类似分区和分桶策略，通过将数据按特定规则划分...

null 其他 executor flink 数据处理 dba 分布式数据库 data 数据库系统 doris daily

技术干货

06/17 21:08

966

0

亲爱的社区小伙伴们，Apache Doris 2.0.11 版本已于 2024 年 6 月 5 日正式与大家见面，该版本提交了 123 个改进项以及问题修复，进一步提升了系统的性能及稳定性，欢迎大家下载体验。官网下...

https index apache github json download bitmapindex doris yujun777 eldenmoon kaka11chen

发版通告

06/06 18:46

60

0

作者：韩同阳，极越汽车大数据架构师，Apache Doris Active Contributor 编辑整理：SelectDB 技术团队导读：极越是高端智能汽车机器人品牌，基于领先的百度 AI 能力和吉利 SEA 浩瀚架构生态...

其他可视化 kafka 数据处理 profile 大数据 worker truncate 性能优化

技术干货

06/06 17:28

1.9K

1

作者：田向阳，联通西部创新研究院大数据专家共创：SelectDB 技术团队导读：数据是 5G 全连接工厂的核心要素，为支持全方位的数据收集、存储、分析等工作的高效进行，联通 5G 全连接工厂...

clickhouse 数据处理 hive 时序数据库 flink 数据仓库引擎 hbase 数据查询 kafka jdbc

技术干货

05/31 18:30

1K

0

作者：SelectDB 技术团队在现代数据库系统中，执行引擎在数据库体系结构中起着承上启下的作用，与查询优化器和存储引擎共同组成了数据库的三大模块。我们以 SQL 语句在数据库系统中的完整执...

pipeline next operator presto profile 操作系统数据库系统 duckdb build instance

技术干货

05/16 14:57

945

0

作者：武基鹏，无锡锡商银行大数据技术经理编辑整理：SelectDB 技术团队导读：为实现数据资产的价值转化以及全面数字化、智能化的风险管理，无锡锡商银行大数据平台经历从 Hive 离线数据仓...

大数据 hive 数据查询 kafka flink mysql oracle 数据仓库平台 spark apachedoris

应用实践

05/08 14:19

2.1K

0

作者｜隐形（邢颖），网易资深数据库内核工程师编辑整理｜SelectDB 技术团队导读：作为网易重要的业务线，灵犀办公和云信针对大规模日志/时序数据处理和分析的挑战，分别构建了灵犀 Eagl...

elasticsearch influxdb match github apache eagle kafka 时序数据库 support custom doris

技术干货

05/06 11:32

2.2K

0

SelectDB

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

QQ群

公众号

视频号