SelectDB的个人空间 - OSCHINA - 中文开源技术交流社区

昨天 11:15

452

导读：灵犀科技早期基于 Hadoop 构建大数据平台，在战略调整和需求的持续扩增下，数据处理效率、查询性能、资源成本问题随之出现。为此，引入 Apache Doris 替换了复杂技术栈，升级为集存储、...

数据处理大数据 hive 数据存储 starrocks hadoop seatunnel kafka hdfs flink redis

01/03 12:01

681

在 12 月 14 日的 Doris Summit Asia 2024 上，Apache Doris 创始人 & PMC 成员马如悦在开场演讲中，围绕“现代化数据仓库”这一主题，指出 3.0 版本是 Apache Doris 研发路程中的重要里程碑...

apachedoris trino hdfs 大数据 elasticsearch 数据处理 spark json 云原生开源数据存储

2024/12/26 17:52

2.2K

随着数字化转型的加速，云计算已成为现代企业运营中的关键组成部分。云的重要性体现在多个方面：首先，它提供更好的灵活性与可扩展性，可根据实际需求动态调整计算和存储资源，以快速适应市场...

saas elasticsearch iceberg 云原生数据存储 schema hive selectdbcloud kafka json cache

解决方案

2024/12/24 16:52

786

2024 年 12 月 14 日，由飞轮科技主办，腾讯云和阿里云联合主办的 Doris Summit Asia 2024 在深圳圆满落幕。活动当天，人潮涌动，会场弥漫着浓厚的技术气息。此次峰会吸引了众多大数据及数据...

开源大数据云原生数据处理 apachedoris elasticsearch selectdb 计算引擎

2024/12/19 12:24

58

导读：Cisco WebEx 早期数据平台采用了多系统架构（包括 Trino、Pinot、Iceberg 、 Kyuubi 等），面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此，引入 Ap...

iceberg trino pinot kyuubi kafka 数据处理 spark oracle doris webauth audit schema sidecar

2024/11/29 10:54

413

在现代化的数据分析场景中，数据量以指数级速度快速膨胀，分析维度在不断扩展，查询逻辑的复杂度也在日益增加。从性能角度考虑，在承担高并发查询的压力下，秒级别甚至更快的响应速度已成为基...

common 数据处理 hive agg schema async cube rollup join 大数据 doris workload group

2024/11/20 10:17

1.2K

当前，各企业正面临前所未有的数据增量，不仅体现在数据规模的急剧上升，还体现在数据的类型多样性和产生速度的加快。数据体量大固然蕴藏着更大的潜力及可能性，但如何有效利用这些数据，解决...

云原生 trino 客户关系管理数据处理开源 presto elasticsearch clickhouse selectdb

2024/11/07 11:22

77

SelectDB 是由飞轮科技基于 Apache Doris 内核打造的现代化数据仓库，支持大规模实时数据上的极速查询分析。通过实时、统一、弹性、开放的核心能力，能够为企业提供高性价比、简单易用、安全...

mysql serverless worker 大数据 selectdb dataworks selectdbcloud apachedoris 机器学习 master

2024/11/07 11:19

67

导读：为满足更严苛数据分析的需求，腾讯音乐内容库借助 Apache Doris 替代了 Elasticsearch 集群，统一了内容库数据平台的内容搜索和分析引擎。并基于 Doris 倒排索引和全文检索的能力，支持...

elasticsearch match supersonic common core doris 数据存储搜索引擎转换工具 store actor

2024/10/12 10:56

3.8K

4

9 月 19 日 - 21 日，以「云启智跃，产业蝶变」为主题的阿里云 2024 云栖大会在杭州云栖小镇顺利举办。大会设有三大主论坛、400 多个分论坛，并开放 4 万平方米的智能科技展区。作为中国云计...

云计算 selectdb serverless 数据存储大数据云原生 lakehouse clickbench dataserving

2024/09/27 14:34

44

导读：快手 OLAP 系统为内外多个场景提供数据服务，每天承载近 10 亿的查询请求。原有湖仓分离架构，由离线数据湖和实时数仓组成，面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过...

clickhouse alluxio 计算引擎其他数据查询 hdfs doris spark parquet hive hudi schema

2024/09/27 14:27

4.9K

随着业务的蓬勃发展，各企业对数据处理的灵活性和可扩展性提出了更高的要求。在此背景下，JSON、XML 等半结构化数据凭借其较强的灵活性在众多企业得到广泛应用。然而，传统关系型数据库结构严...

json schema 数据存储 extract payload 关系型数据库 elasticsearch variant hive 数据处理

应用实践

2024/09/12 18:44

2.1K

1

需求起源 SelectDB 设计多计算集群架构初衷主要源于两类典型的使用场景：写入与读取隔离：传统数仓架构中，数据的写入和读取在同一个计算集群，当遇到业务写入高峰期或突增的写入压力时，容...

关系型数据库分布式系统 selectdb 数据查询云原生 mysqlclient data 分布式锁

2024/09/11 17:27

748

Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着 Apache Doris 用户...

trino kafka iceberg kudu deltalake home hudi hive doris presto github docker 数据查询 connector

2024/09/06 12:02

387

在竞争激烈的消费金融市场中，有效利用海量数据、提升业务运营效率是赢得市场的关键。早期招联采用典型的 Lambda 架构提供业务报表、数据运营、个性推荐、风险控制等数据服务，而 Lambda 过多...

vertica 计算引擎 flink clickhouse kafka 数据查询开源 hbase doris impala watermark

2024/08/29 18:38

1.6K

作者：MiniMax 基础架构研发工程师 Koyomi、香克斯、Tinker 导读：早期 MiniMax 基于 Grafana Loki 构建了日志系统，在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始...

日志系统 loki kafka grafanaloki ilogtail elasticsearch index match grafana minimax

2024/08/22 18:38

1.9K

近日，由中国通信标准化协会、大数据技术标准推进委员会主办，InfoQ 极客传媒联合主办的 “2024 可信数据库发展大会” 在京成功召开。此次大会汇聚了众多数据库行业领军企业、专家学者，共同...

大数据开源云原生 selectdb schema kafka spark 可视化数据库应用 clickhouse json

2024/08/09 17:59

63

湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，能够更加便捷地满足各种数据处理分析的需求。Apache Doris 持续加深与数据湖的融合，已演进出...

iceberg transform 数据处理存储系统其他 apachedoris update tree schema delete meta https

2024/08/02 16:20

2K

湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，Apache Doris 持续加深与...

iceberg tree deltalake docker flink 存储系统数据处理 https update reader trino delete

2024/07/25 11:01

2.4K