张家锋的个人空间 - OSCHINA - 中文开源技术交流社区

张家锋

2.5K

经验值

2.4K

开源豆

关注私信

专长领域： 服务器端开发, 软件开发管理, DBA/数据库

开发平台： Java EE, Java SE, Scala, Linux/Unix

连击天

fork: star:

加载中

Apache Doris在蜀海供应链数据仓库建设中的实践

概述最早接触doris是在2020年初，当时是为了解决在海量数据上实时高并发查询的问题，当时调研了很多框架，在使用这Doris之前我的架构和其他公司的架构基本差不多，Hadoop，Hive，Spark，Pre...

kafka mysql 大数据 flink datax doris canal 数据可视化计算引擎规则引擎 mysqlbinlog

2021/06/29 18:55

9.2K

Flink Doris Connector设计方案该方案首先感谢社区Spark Doris Connector的作者从Doris角度看，将其数据引入Flink，可以使用Flink一系列丰富的生态产品，拓宽了产品的想象力，也使得Doris...

flink thrift apache jdbc doris audit json blob https 存储系统 mysql github spark elasticsearch

2021/04/13 09:24

1.3W

当前企业实时同步与分析场景中面临的挑战：随着业务发展需要，实时分析成为企业目前的强需求，成为支撑企业业务发展的必须项。一般来说，要满足数据实时分析的诉求，通常有两种方案：第一...

mysql engine lakehouse saas sqlserver 数据处理 transform server data olap引擎代码可视化

2024/11/11 17:05

61

作者 | 关涛云器科技CTO 数据平台领域发展 20 年，逐渐成为每个企业的基础设施。作为一个进入“普惠期”的领域，当下的架构已经完美了吗，主要问题和挑战是什么？在 2023 年 AI 跃变式爆发的...

engine 大数据数据处理 plan pipeline snowflake spark clickhouse 数据存储 serving

2024/11/11 16:57

43

人工智能的迅速发展正在改变着我们的世界，对于大数据企业来说更是如此。在大语言模型的引领下，数据平台领军企业 Databricks 和 Snowflake 的未来正在被重新书写。这两家企业在不久前的发布...

大语言模型大数据 snowflake saas python spark 开源数据存储数据处理 clickhouse

2024/10/20 11:41

76

第一部分：字符集规范【强制】数据库字符集指定utf-8，并且只支持utf-8。命令规范【建议】库名统一使用小写方式，中间用下划线（_）分割，长度62字节内【建议】表名称大小写敏感，统一使...

update delete follower json session observer buckets 数据查询 type hint pipeline unique timeout

2024/01/02 23:10

210

行列转换在做报表分析时还是经常会遇到的，今天就说一下如何实现行列转换吧。行列转换就是如下图所示两种展示形式的互相转换 1. 行转列我们来看一个简单的例子，我们要把下面这个表的数据，...

doris lateralview udtf unionall apachedoris join select split explode userid string casewhen

2023/09/28 17:31

177

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支...

go mysql hdfs mysql客户端分析型数据库 doris parquet apachedoris insertintotblselect http

2023/09/28 17:26

64

在介绍这个之前，我们知道Doris 之前是不支持主机名称方式，只能使用 IP 地址，在实际使用中，有的用户因为网络重构或者设备迁移产生了IP地址变更，这个就会引发Doris集群数据不可用。如果我...

hosts follower mysql fqdn mysql客户端 heartbeat observer dns服务器 doris host conf hostname

2023/09/13 09:01

275

概述对于任何一种数据库类软件来说，无论其基于传统数据库模型还是基于分布式结构，作为核心的永远是数据本身。而数据的生命周期，则体现在CRUD操作（创建、查询、更新、删除）上。任何一条...

minio linux系统 macos brew crud 数据存储 doris cooldown resource apachedoris conf showdata

2023/05/11 18:56

432

概述随着云基础设施的不断完善，云原生已经成为各行业数字化转型的必选项，越来越多的应用开始进行云原生化架构升级和应用迁移。而云原生实时数仓的出现，让传统的数据仓库无论是成本、灵活...

mysql flink 云原生 once kafka 云原生数据库 oracle sqlserver selectdbcloud internalstage

2023/03/14 18:30

202

概述企业正在经历其数据资产的爆炸式增长，这些数据包括批式或流式传输的结构化、半结构化以及非结构化数据，随着海量数据批量导入的场景的增多，企业对于 Data Pipeline 的需求也愈加复杂。...

kafka debezium json mysql connect 云原生 once precommit flink selectdb server https documentation

2023/03/14 18:28

88

前言企业正在经历其数据资产的爆炸式增长，这些数据包括批式或流式传输的结构化、半结构化以及非结构化数据，随着海量数据批量导入的场景的增多，企业对于 Data Pipeline 的需求也愈加复杂。...

spark 云原生 hdfs 大数据计算引擎 selectdbcloud jdbc maven admin client

2023/03/14 18:27

116

前言企业正在经历其数据资产的爆炸式增长，这些数据包括批式或流式传输的结构化、半结构化以及非结构化数据，随着海量数据批量导入的场景的增多，企业对于 Data Pipeline 的需求也愈加复杂。...

datax reader framework json 云原生 maven oracle mysql skip stream home init repository https util

2023/03/14 18:27

208

福建纵腾网络有限公司（简称“纵腾集团”）成立于 2009 年，以“全球跨境电商基础设施服务商”为企业定位，聚焦跨境仓储与物流，为全球跨境电商商户、出口贸易企业、出海品牌商提供海外仓储...

release tcmalloc apachedoris unique https 大数据 clickhouse spark apache dolphinscheduler datahub

2023/02/22 11:42

233

数据分片（Sharding）是分布式数据库分而治之 (Divide And Conquer) 这一设计思想的体现。过去的单机数据库在大数据量下往往面临存储和 IO 的限制，而分布式数据库则通过数据划分的规则，将数...

delta 分布式数据库 https apache github partition auto rollup tablet apachedoris desc

2023/02/22 11:35

521

导读：腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从 1.0 演进到了 4.0 ，经历了分...

tdw flink clickhouse unique dataset mysql kafka spark iceberg doris elasticsearch apache github hive

2023/02/22 11:18

3.5K

apachedoris2022

2023/01/18 12:59

95

概述我们在使用各个SQL引擎时，会有纷繁复杂的查询需求。一部分可以通过引擎自带的内置函数去解决，但内置函数不可能解决所有人的问题，所以一般SQL引擎会提供UDF功能，方便用户通过自己写逻...

udf java c++hive spark protobuf 加解密工具 doris javaudf 大数据 hadoop apache dorisjavaudf

2022/12/12 12:37

253

JDBC 外表 JDBC External Table Of Doris 提供了Doris通过数据库访问的标准接口(JDBC)来访问外部表，外部表省去了繁琐的数据导入工作，也省去了之前ODBC繁杂的驱动安装部署及版本匹配问题，兼...

jdbc mysql iceberg https docs 元数据层 hive apache hudi doris sqlserver clickhouse 数据查询

2022/12/12 12:36

241

没有更多内容

加载失败，请刷新页面

©OSCHINA(OSChina.NET)

工信部

开源软件推进联盟

指定官方社区

社区规范

深圳市奥思网络科技有限公司版权所有

粤ICP备12009483号

顶部