SelectDB的个人空间 - OSCHINA - 中文开源技术交流社区

昨天 10:56

1.3K

4

9 月 19 日 - 21 日，以「云启智跃，产业蝶变」为主题的阿里云 2024 云栖大会在杭州云栖小镇顺利举办。大会设有三大主论坛、400 多个分论坛，并开放 4 万平方米的智能科技展区。作为中国云计...

云计算 selectdb serverless 数据存储大数据云原生 lakehouse clickbench dataserving

动态

09/27 14:34

10

导读：快手 OLAP 系统为内外多个场景提供数据服务，每天承载近 10 亿的查询请求。原有湖仓分离架构，由离线数据湖和实时数仓组成，面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过...

clickhouse alluxio 计算引擎其他数据查询 hdfs doris spark parquet hive hudi schema

09/27 14:27

4.4K

随着业务的蓬勃发展，各企业对数据处理的灵活性和可扩展性提出了更高的要求。在此背景下，JSON、XML 等半结构化数据凭借其较强的灵活性在众多企业得到广泛应用。然而，传统关系型数据库结构严...

json schema 数据存储 extract payload elasticsearch 关系型数据库其他 variant

09/12 18:44

1.8K

1

需求起源 SelectDB 设计多计算集群架构初衷主要源于两类典型的使用场景：写入与读取隔离：传统数仓架构中，数据的写入和读取在同一个计算集群，当遇到业务写入高峰期或突增的写入压力时，容...

其他关系型数据库分布式系统 selectdb mysqlclient 数据查询云原生 data

09/11 17:27

699

Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着 Apache Doris 用户...

trino kafka iceberg kudu deltalake hive hudi home 其他 doris docker github 数据查询 presto

实操系列

09/06 12:02

358

在竞争激烈的消费金融市场中，有效利用海量数据、提升业务运营效率是赢得市场的关键。早期招联采用典型的 Lambda 架构提供业务报表、数据运营、个性推荐、风险控制等数据服务，而 Lambda 过多...

vertica 计算引擎 flink clickhouse kafka 数据查询开源 hbase doris impala watermark

08/29 18:38

1.5K

作者：MiniMax 基础架构研发工程师 Koyomi、香克斯、Tinker 导读：早期 MiniMax 基于 Grafana Loki 构建了日志系统，在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始...

日志系统 loki kafka grafanaloki ilogtail elasticsearch index match grafana minimax

08/22 18:38

1.8K

近日，由中国通信标准化协会、大数据技术标准推进委员会主办，InfoQ 极客传媒联合主办的 “2024 可信数据库发展大会” 在京成功召开。此次大会汇聚了众多数据库行业领军企业、专家学者，共同...

大数据开源云原生 selectdb schema kafka spark 可视化数据库应用 clickhouse json

动态

08/09 17:59

50

湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，能够更加便捷地满足各种数据处理分析的需求。Apache Doris 持续加深与数据湖的融合，已演进出...

iceberg transform 数据处理存储系统其他 apachedoris update tree schema delete meta https

实操系列

08/02 16:20

2K

湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，Apache Doris 持续加深与...

iceberg tree deltalake docker flink 存储系统数据处理 https update reader trino delete

07/25 11:01

2.4K

计算效率提升 30 倍、存储资源节省 90%，雨润集团基于 Apache Doris 的统一实时数据仓库建设实践

原

荐

作者：石公星，雨润集团基础数据平台架构师导读：数字化转型的浪潮中，高效准确的数据分析能够帮助雨润集团快速洞察市场动态、优化供应链管理、提高生产效率。雨润集团引入了 Apache Doris...

mysql hive 数据处理 hbase flink oracle spark doris 转换工具 sqoop hdfs redis kafka

07/18 18:35

2.9K

作者：SelectDB 技术团队导读：湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版...

hudi spark iceberg cow hive 数据查询数据处理 docker deltalake 大数据存储系统

实操系列

07/11 14:15

1.3K

导读：随着快成物流的大宗商品产业链的不断发展，货运轨迹规划和实时数据分析的需求日益迫切，为了保障数据报表更新、用户画像圈选与物流轨迹实时更新等大数据核心系统性能，快成物流引入 Ap...

大数据 mysql clickhouse 数据处理 hive 数据存储 doris jdbc 地理信息系统 kafka spark

07/03 18:54

1K

导读：随着网易游戏品类及产品的快速发展，游戏数据分析场景面临着越来越多的挑战，为了保证系统性能和 SLA，要求引入新的组件来解决特定业务场景问题。为此，网易游戏引入 Apache Doris 构建...

hive elasticsearch trino profile olap引擎 seatunnel kafka spark hbase galaxy metrics 可视化

06/28 15:34

1.2K

作者：字节跳动数据平台在直播、电商等业务场景中存在着大量实时数据，这些数据对业务发展至关重要。而在处理实时数据时，我们也遇到了诸多挑战，比如实时数据开发门槛高、运维成本高以及资...

flink olap引擎 kafka hive 数据存储计算引擎 quartz postgresql redis spark hdfs doris abase

06/26 11:24

1.3K

编辑：SelectDB 技术团队在当今数据驱动的时代，如何高效、有序地管理数据库中的海量数据成为挑战。为了处理庞大的数据集，分布式数据库引入了类似分区和分桶策略，通过将数据按特定规则划分...

null 其他 executor flink 数据处理 dba 分布式数据库 data 数据库系统 doris daily

06/17 21:08

980

亲爱的社区小伙伴们，Apache Doris 2.0.11 版本已于 2024 年 6 月 5 日正式与大家见面，该版本提交了 123 个改进项以及问题修复，进一步提升了系统的性能及稳定性，欢迎大家下载体验。官网下...

https index apache github json download bitmapindex doris yujun777 eldenmoon kaka11chen

发版通告

06/06 18:46

60

作者：韩同阳，极越汽车大数据架构师，Apache Doris Active Contributor 编辑整理：SelectDB 技术团队导读：极越是高端智能汽车机器人品牌，基于领先的百度 AI 能力和吉利 SEA 浩瀚架构生态...

其他可视化 kafka 数据处理 profile 大数据 worker truncate 性能优化

06/06 17:28

2K

1

作者：田向阳，联通西部创新研究院大数据专家共创：SelectDB 技术团队导读：数据是 5G 全连接工厂的核心要素，为支持全方位的数据收集、存储、分析等工作的高效进行，联通 5G 全连接工厂...

clickhouse 数据处理 hive 时序数据库 flink 数据仓库引擎 hbase 数据查询 kafka jdbc

05/31 18:30

1K