应用实践 - 个人空间 - OSCHINA - 中文开源技术交流社区

导读：网易云信引入 Apache Doris 统一了原有 Elasticsearch、InfluxDB 和 Hive 多技术栈系统。凭借其高性能和易扩展的特点，提供一站式的数据存储和分析服务。实现机器成本降低 70%、实时场...

ApacheDoris 数据存储查询分析成本优化效率提升湖仓一体

应用实践

今天 17:24

250

0

导读：拉卡拉早期基于 Lambda 架构构建数据系统面临存储成本高、实时写入性能差、复杂查询耗时久、组件维护复杂等问题。为此，拉卡拉选择使用 Apache Doris 替换 Elasticsearch、Hive、Hbase...

Lambda架构 ApacheDoris OLAP引擎查询性能资源减少数据湖查询

应用实践

04/02 17:45

1.8K

0

"阿里云SelectDB作为MiniMax日志存储服务的核心支撑，为在线和离线业务提供了高效、稳定的查询与聚合分析能力。其支持实时物化视图、租户资源隔离、冷热分离等企业级特性，不仅有效解决了日志...

SelectDB 日志存储查询性能存储成本弹性伸缩存算分离

应用实践

03/20 17:42

1K

0

导读：天翼云基于 Apache Doris 成功落地项目已超 20 个，整体集群规模超 50 套，部署节点超 3000 个，存储容量超 15PB。天翼云基于 Apache Doris 和 Apache Iceberg 构建的湖仓一体方案，兼...

天翼云 ApacheDoris 湖仓一体实时分析 MPPDB 国产化

应用实践

03/18 14:58

2.3K

0

BOCDOP 宝舵早期基于 TiDB 构建实时数仓，随着数据量增长，在数据处理效率、OLAP 能力扩展、功能支持、成本与资源方面存在一定优化空间。为提升数据分析能力并优化成本，宝舵引入 SelectDB，...

实时数仓 SelectDB TiDB 数据分析性能提升成本降低

应用实践

03/12 18:01

1.2K

0

导读：随着川航大规模数据导入需求增长，数据响应频繁出现卡顿，原 Hadoop + Apache Doris 的数据架构存在着涉及组件多、并发性不足、数据导入受限的痛点。经过综合选型对比，川航选择引入 ...

湖仓一体数据导入查询性能实时性联邦分析 SelectDB

应用实践

03/03 10:59

1.6K

0

原

荐

金融场景 PB 级大规模日志平台：中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践

导读：中信银行信用卡中心每日新增日志数据 140 亿条（80TB），全量归档日志量超 40PB，早期基于 Elasticsearch 构建的日志云平台，面临存储成本高、实时写入性能差、文本检索慢以及日志分析...

elasticsearch 数据存储可视化数据处理日志系统管理工具数据压缩算法 doris

应用实践

01/21 11:20

946

0

随着业务的蓬勃发展，各企业对数据处理的灵活性和可扩展性提出了更高的要求。在此背景下，JSON、XML 等半结构化数据凭借其较强的灵活性在众多企业得到广泛应用。然而，传统关系型数据库结构严...

json schema 数据存储 extract payload 关系型数据库 elasticsearch variant hive 数据处理

应用实践

2024/09/12 18:44

1.1K

1

导读：随着快成物流的大宗商品产业链的不断发展，货运轨迹规划和实时数据分析的需求日益迫切，为了保障数据报表更新、用户画像圈选与物流轨迹实时更新等大数据核心系统性能，快成物流引入 Ap...

大数据 mysql clickhouse 数据处理 hive 数据存储 doris jdbc 地理信息系统 spark

应用实践

2024/07/03 18:54

1K

0

导读：随着网易游戏品类及产品的快速发展，游戏数据分析场景面临着越来越多的挑战，为了保证系统性能和 SLA，要求引入新的组件来解决特定业务场景问题。为此，网易游戏引入 Apache Doris 构建...

hive elasticsearch profile seatunnel trino olap引擎 kafka doris metrics spark hbase galaxy

应用实践

2024/06/28 15:34

674

0

作者：字节跳动数据平台在直播、电商等业务场景中存在着大量实时数据，这些数据对业务发展至关重要。而在处理实时数据时，我们也遇到了诸多挑战，比如实时数据开发门槛高、运维成本高以及资...

flink olap引擎 kafka hive 数据存储计算引擎 redis hdfs clickhouse yarn watermark

应用实践

2024/06/26 11:24

752

0

作者：武基鹏，无锡锡商银行大数据技术经理编辑整理：SelectDB 技术团队导读：为实现数据资产的价值转化以及全面数字化、智能化的风险管理，无锡锡商银行大数据平台经历从 Hive 离线数据仓...

大数据 hive 数据查询 kafka mysql flink 数据仓库平台 spark oracle apachedoris

应用实践

2024/05/08 14:19

933

0

本文导读：在长期服务广大规模商户的过程中，银联商务已沉淀了庞大、真实、优质的数据资产数据，这些数据不仅是银联商务开启新增长曲线的基础，更是进一步服务好商户的关键支撑。为更好提供...

hive 数据查询数据处理大数据 hadoop 数据存储其他 doris flink kylin kafka hbase

应用实践

2024/01/11 10:38

1.8K

0

作者：某工商信息商业查询平台高级数据研发工程师李昂信息服务行业可以提供多样化、便捷、高效、安全的信息化服务，为个人及商业决策提供了重要支撑与参考。对于行业相关企业来说，数据收...

hudi 数据处理 flink hbase mysql gaussdb base null doris apollo hive 数据存储 allinone once

应用实践

2023/12/05 14:11

444

0

作者｜观测云 CEO 蒋烁淼 & 飞轮科技技术团队在云计算逐渐成熟的当下，越来越多的企业开始将业务迁移到云端，传统的监控和故障排查方法已经无法满足企业的需求。而观测云可提供整体数据的分...

elasticsearch schema json match selectdb 数据存储 datakit variant opensearch victoriametrics

应用实践

2023/11/30 10:49

406

0

导读：随着消费者更安全、更舒适、更便捷的驾驶体验需求不断增长，汽车智能化已成必然趋势。长安汽车智能化研究院作为长安汽车集团有限责任公司旗下的研发机构，专注于汽车智能化技术的创新与...

hive mysql flink 数据处理 kafka 数据存储数据查询 doris 大数据 java 其他

应用实践

2023/11/15 15:37

2K

1

导读：平安人寿作为保险行业领军企业，坚持技术创新，以数据业务双轮驱动的理念和更加开放的思路来应对不断增长的数据分析和应用需求；以深挖数据价值、保障业务用数效率为目标持续升级大数据...

大数据 postgresql clickhouse hive druid kylin presto hbase olap引擎可视化数据存储

应用实践

2023/11/14 10:29

435

0

本文导读：当前，大数据、人工智能、云计算等技术应用正在推动保险科技发展，加速保险行业数字化进程。在这一背景下，招商信诺不断探索如何将多元数据融合扩充，以赋能代理人掌握更加详实的...

clickhouse hbase mysql presto 大数据数据存储 hive 数据处理 apachedoris rollup olap引擎

应用实践

2023/09/19 11:03

1.7K

0

本文导读：当前，电商运营的主要痛点不仅来自多变的市场和客户需求，也受困于碎片化用户触达等带来的竞争与挑战。为了深度挖掘用户价值、培养用户忠诚度、实现业绩增长，有赞为商家搭建了全...

clickhouse https spark druid saas github apache apachekylin doris hdfs cube flink apachedoris hive

应用实践

2023/09/11 11:17

1.1K

0

当前，大语言模型的应用正在全球范围内引发新一轮的技术革命与商业浪潮。腾讯音乐作为中国领先在线音乐娱乐平台，利用庞大用户群与多元场景的优势，持续探索大模型赛道的多元应用。本文将详细...

olap引擎 rollup flink elasticsearch 数据处理大语言模型 hive 开源框架 clickhouse

应用实践

2023/09/05 16:01

569

0

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈