一键部署容器化版本,助力开发者快速试用WeDataSphere开源大数据平台套件

原创
05/17 17:15
阅读数 1.3K

一、部署WeDataSphere开源大数据平台的难点

您是否为搭建包含Hadoop、Hive、Spark等基础计算存储引擎的WeDataSphere(以下简称WDS)开源大数据平台套件而烦恼?是否希望能有一种简单快捷的方式来完成所有组件的部署和试用?

如果您也曾遇到WeDataSphere开源大数据平台套件的部署试用问题,那么现在我们有了一个令人振奋的消息!


WDS ALL IN ONE 容器化版本诞生啦。(推荐 for 演示/开发环境)


WDS ALL IN ONE(以下简称WDS容器化版本是基于Docker构建的WeDataSphere开源大数据平台套件快速部署&试用解决方案,集成了Hadoop、Spark、Hive、Flink、MySQL等基础组件,以及WeDataSphere已开源的各个组件如:DataSphere Studio、Apache Linkis、Schedulis、Qualitis、Visualis和Exchangis等。


它让我们可以30分钟内快速完成全套大数据平台套件的部署和启动,并内置了DEMO项目方便大家快速尝鲜体验WeDataSphere已开源组件的全部功能特性。


二、WDS容器化版本

WeDataSphere是一套一站式、金融级、全连通、开源开放的大数据平台套件。从建设之初就确立了开源+自研的研发路径,依托开源社区力量共建金融级大数据平台能力。


当前已具备了数据开发应用管理的完备能力,形成了一个“434”阵型:

1、前场,是数据分析、数据治理、机器学习和运营管理 4 大功能工具工场,能够提供完整的数据+AI应用开发管理工具集。

2、中场,是计算中间件、元数据中间件和微前端中间件;做到承上启下,提供连通、管控、扩展、复用等独有的中间件能力。简化平台整体架构,降低开发运维成本。

3、后场,是批量计算、交互式计算、流式计算和复杂计算 4 大基础计算存储模块。提供面向各场景的基础计算存储能力。

GitHub:https://github.com/WeBankFinTech/WeDataSphere


WDS容器化版本是由Docker构建的一个能够让用户在半小时内完成所有组件安装部署并使用的镜像包。无需再去部署Hadoop等基础组件,也不需要部署WDS的各功能组件,即可让您快速体验 WDS 所有开源组件的能力,包括 DataSphere Studio 的数据应用开发能力,Apache Linkis的计算能力,Schedulis的任务调度能力,Qualitis的数据质量检测能力,Visualis的可视化能力和Exchangis的数据转换能力。


只需一台内存大小为32G、磁盘大小为100G的服务器,并且操作系统为CentOS或Red Hat,您就能够根据我们提供的部署文档快速完成部署。通过使用预先构建的Docker镜像包,您无需繁琐地安装和配置各个组件,节省了宝贵的时间和精力。


WDS容器化版本的优势不仅在于快速部署,还在于其灵活性和扩展性。您可以根据实际需求,灵活选择和配置所需的组件,试用属于自己的大数据平台。同时,我们提供了各组件升级文档,能够轻松完成升级和维护。通过使用WDS容器化版本,您可以快速部署和试用一个强大和高效的大数据平台。


不过由于该容器化版本Hadoop等基础组件均是单节点形式部署在容器中,因此稳定性较差,不推荐用于生产。


三、Docker镜像中包含的组件


四、下载使用

1、镜像包:https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/wedatasphere.tar.gz

2、部署文档:https://github.com/WeBankFinTech/WeDataSphere/blob/wds-hadoop2.7.2/docs/docker/hadoop2.7.2/Docker%E7%89%88%E6%9C%AC%E9%83%A8%E7%BD%B2%E6%8C%87%E5%8D%97.md

3、使用文档:https://github.com/WeBankFinTech/WeDataSphere/blob/wds-hadoop2.7.2/docs/docker/hadoop2.7.2/Docker%E7%89%88%E6%9C%AC%E4%BD%BF%E7%94%A8%E6%8C%87%E5%8D%97.md

4、组件升级文档:(镜像中使用的是Open JDK)https://github.com/WeBankFinTech/WeDataSphere/blob/wds-hadoop2.7.2/docs/docker/hadoop2.7.2/Docker%E4%B8%AD%E7%BB%84%E4%BB%B6%E5%8D%87%E7%BA%A7%E6%8C%87%E5%8D%97.md


五、感谢社区贡献者

WDS 容器化版本的发布离不开WDS社区的贡献者,感谢所有的社区贡献者。我们鼓励所有的开发者都来下载安装WDS镜像包,并为我们提供反馈和建议,以便我们不断完善和改进。如果您有任何疑问或需要帮助,请随时联系我们的团队。我们期待着您的加入,一起构建更强大、更智能的大数据平台!

— END —

如何成为社区贡献者

 官方文档贡献。发现文档的不足、优化文档,持续更新文档等方式参与社区贡献。通过文档贡献,让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略:保姆级教程:如何成为Apache Linkis文档贡献者


 代码贡献。我们梳理了社区中简单并且容易入门的的任务,非常适合新人做代码贡献。请查阅新手任务列表:https://github.com/apache/incubator-linkis/issues/1161


 内容贡献:发布WeDataSphere开源组件相关的内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。例如:


 社区答疑:积极在社区中进行答疑、分享技术、帮助开发者解决问题等;


 其他:积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等;

本文分享自微信公众号 - WeDataSphere(gh_273e85fce73b)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部