SelectDB的个人空间 - OSCHINA - 中文开源技术交流社区

导读：Cisco WebEx 早期数据平台采用了多系统架构（包括 Trino、Pinot、Iceberg 、 Kyuubi 等），面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此，引入 Ap...

iceberg trino pinot kyuubi kafka 数据处理 spark oracle doris webauth audit schema sidecar

技术干货

11/29 10:54

393

0

在现代化的数据分析场景中，数据量以指数级速度快速膨胀，分析维度在不断扩展，查询逻辑的复杂度也在日益增加。从性能角度考虑，在承担高并发查询的压力下，秒级别甚至更快的响应速度已成为基...

common 数据处理 hive agg schema async cube rollup join 大数据 doris workload group

技术干货

11/20 10:17

1.1K

0

当前，各企业正面临前所未有的数据增量，不仅体现在数据规模的急剧上升，还体现在数据的类型多样性和产生速度的加快。数据体量大固然蕴藏着更大的潜力及可能性，但如何有效利用这些数据，解决...

云原生 trino 客户关系管理数据处理开源 presto elasticsearch clickhouse selectdb

动态

11/07 11:22

67

0

SelectDB 是由飞轮科技基于 Apache Doris 内核打造的现代化数据仓库，支持大规模实时数据上的极速查询分析。通过实时、统一、弹性、开放的核心能力，能够为企业提供高性价比、简单易用、安全...

mysql serverless worker 大数据 selectdb dataworks selectdbcloud apachedoris 机器学习 master

实操系列

11/07 11:19

64

0

导读：为满足更严苛数据分析的需求，腾讯音乐内容库借助 Apache Doris 替代了 Elasticsearch 集群，统一了内容库数据平台的内容搜索和分析引擎。并基于 Doris 倒排索引和全文检索的能力，支持...

elasticsearch match supersonic common core doris 数据存储搜索引擎转换工具 store actor

技术干货

10/12 10:56

3.7K

4

9 月 19 日 - 21 日，以「云启智跃，产业蝶变」为主题的阿里云 2024 云栖大会在杭州云栖小镇顺利举办。大会设有三大主论坛、400 多个分论坛，并开放 4 万平方米的智能科技展区。作为中国云计...

云计算 selectdb serverless 数据存储大数据云原生 lakehouse clickbench dataserving

动态

09/27 14:34

20

0

导读：快手 OLAP 系统为内外多个场景提供数据服务，每天承载近 10 亿的查询请求。原有湖仓分离架构，由离线数据湖和实时数仓组成，面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过...

clickhouse alluxio 计算引擎其他数据查询 hdfs doris spark parquet hive hudi schema

技术干货

09/27 14:27

4.9K

0

随着业务的蓬勃发展，各企业对数据处理的灵活性和可扩展性提出了更高的要求。在此背景下，JSON、XML 等半结构化数据凭借其较强的灵活性在众多企业得到广泛应用。然而，传统关系型数据库结构严...

json schema 数据存储 extract payload 关系型数据库 elasticsearch variant hive 数据处理

应用实践

09/12 18:44

2K

1

需求起源 SelectDB 设计多计算集群架构初衷主要源于两类典型的使用场景：写入与读取隔离：传统数仓架构中，数据的写入和读取在同一个计算集群，当遇到业务写入高峰期或突增的写入压力时，容...

关系型数据库分布式系统 selectdb 数据查询云原生 mysqlclient data 分布式锁

技术干货

09/11 17:27

739

0

Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着 Apache Doris 用户...

trino kafka iceberg kudu deltalake home hudi hive doris presto github docker 数据查询 connector

实操系列

09/06 12:02

383

0

在竞争激烈的消费金融市场中，有效利用海量数据、提升业务运营效率是赢得市场的关键。早期招联采用典型的 Lambda 架构提供业务报表、数据运营、个性推荐、风险控制等数据服务，而 Lambda 过多...

vertica 计算引擎 flink clickhouse kafka 数据查询开源 hbase doris impala watermark

技术干货

08/29 18:38

1.6K

0

作者：MiniMax 基础架构研发工程师 Koyomi、香克斯、Tinker 导读：早期 MiniMax 基于 Grafana Loki 构建了日志系统，在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始...

日志系统 loki kafka grafanaloki ilogtail elasticsearch index match grafana minimax

技术干货

08/22 18:38

1.9K

0

近日，由中国通信标准化协会、大数据技术标准推进委员会主办，InfoQ 极客传媒联合主办的 “2024 可信数据库发展大会” 在京成功召开。此次大会汇聚了众多数据库行业领军企业、专家学者，共同...

大数据开源云原生 selectdb schema kafka spark 可视化数据库应用 clickhouse json

动态

08/09 17:59

57

0

湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，能够更加便捷地满足各种数据处理分析的需求。Apache Doris 持续加深与数据湖的融合，已演进出...

iceberg transform 数据处理存储系统其他 apachedoris update tree schema delete meta https

实操系列

08/02 16:20

2K

0

湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，Apache Doris 持续加深与...

iceberg tree deltalake docker flink 存储系统数据处理 https update reader trino delete

技术干货

07/25 11:01

2.4K

0

原

荐

计算效率提升 30 倍、存储资源节省 90%，雨润集团基于 Apache Doris 的统一实时数据仓库建设实践

作者：石公星，雨润集团基础数据平台架构师导读：数字化转型的浪潮中，高效准确的数据分析能够帮助雨润集团快速洞察市场动态、优化供应链管理、提高生产效率。雨润集团引入了 Apache Doris...

mysql hive 数据处理 hbase flink oracle spark doris 转换工具 sqoop hdfs redis kafka

技术干货

07/18 18:35

2.9K

0

作者：SelectDB 技术团队导读：湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版...

hudi spark iceberg cow hive 数据查询数据处理 docker deltalake 大数据存储系统

实操系列

07/11 14:15

1.3K

0

导读：随着快成物流的大宗商品产业链的不断发展，货运轨迹规划和实时数据分析的需求日益迫切，为了保障数据报表更新、用户画像圈选与物流轨迹实时更新等大数据核心系统性能，快成物流引入 Ap...

大数据 mysql clickhouse 数据处理 hive 数据存储 doris jdbc 地理信息系统 spark

应用实践

07/03 18:54

1.2K

0

导读：随着网易游戏品类及产品的快速发展，游戏数据分析场景面临着越来越多的挑战，为了保证系统性能和 SLA，要求引入新的组件来解决特定业务场景问题。为此，网易游戏引入 Apache Doris 构建...

hive elasticsearch profile seatunnel trino olap引擎 kafka doris metrics spark hbase galaxy

应用实践

06/28 15:34

1.3K

0

作者：字节跳动数据平台在直播、电商等业务场景中存在着大量实时数据，这些数据对业务发展至关重要。而在处理实时数据时，我们也遇到了诸多挑战，比如实时数据开发门槛高、运维成本高以及资...

flink olap引擎 kafka hive 数据存储计算引擎 redis hdfs clickhouse yarn watermark

应用实践

06/26 11:24

1.5K

0

SelectDB

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈