WeDataSphere 入门指南

2023/03/22 16:30
阅读数 5.1K
AI总结

自从2019年WeDataSphere开源以来,项目得到了快速的发展。WeDataSphere和Apache Linkis开源社区群用户总数超 7600人,沙箱累计试用公司超 2600家,收到超过 110家企业已投入生产的反馈,生产环境支撑的数据量超 400PB,生产服务的用户超 5000人,涉及金融、电信、制造、互联网等多个行业。

为了更好的让新同学能够了解WeDataSphere,因此我们写了这篇文章,帮助新同学快速入门WeDataSphere。

一、WeDataSphere简介
WeDataSphere是一套一站式、金融级、全连通、开源开放的大数据平台套件。
基础平台由数据交换、数据分发、计算、存储四大层次组成,关注底层数据传输计算存储能力;功能平台由平台工具、数据工具、应用工具三大层次组成,关注用户各类功能工具需求实现。形成了完整的大数据平台技术体系,提供一站式的丰富数据平台组件及功能支撑。

(带蓝色S球项目为已开源

经过多年的发展,WeDataSphere形成 了自身的核心优势:

  • 一站式:提供从数据应用开发到数据可视化、从批量作业到实时流式计算能力等的丰富功能组件,满足不同场景的数据应用开发运行和数据管理需求。

  • 金融级:在高可用、数据治理、数据安全等方面做多种增强,打造金融级高可靠大数据平台,支撑核心关键业务应用。

  • 全连通:独有数据应用开发管理门户DataSphere Studio 和计算中间件Linkis ,两层连通和集成的架构设计,使平台内各组件间南北东西向真正打通,提供更无缝的用户体验,更简化的平台架构,更强大的管控功能。

  • 开源开放:WeDataSphere 基于开源,回到开源,自研的各种组件会逐步开源;整体设计上开放灵活,对扩展友好且组件可插拔;同时以开源开放的形式,吸引更多个人、组织,参与到WDS的开发建设和推广应用中来。


二、项目GitHub地址

目前我们开源的全部项目都能在GitHub上找到,以下为项目地址,便于大家快速查询:

● WeDataSphere大数据平台套件:https://github.com/WeBankFinTech/WeDataSphere/

● Apache Linkis计算中间件 :https://github.com/apache/incubator-linkis

● DataSphereStudio一站式数据应用开发管理门户:https://github.com/WeBankFinTech/DataSphereStudio

● Qualitis 数据质量管理平台:https://github.com/WeBankFinTech/Qualitis

● Schedulis 工作流任务调度系统:https://github.com/WeBankFinTech/Schedulis

● Exchangis 数据交换平台:https://github.com/WeBankFinTech/Exchangis

● Prophecis 一站式机器学习平台:https://github.com/WeBankFinTech/Prophecis

● Scriptis 交互式数据分析 Web 工具:https://github.com/WeBankFinTech/Scriptis

● Visualis 数据可视化工具:https://github.com/WeBankFinTech/Visualis

● Streamis 流式应用开发管理系统: https://github.com/WeBankFinTech/Streamis

三、QA文档

很多刚接触WeDataSphere的开发者在安装部署的过程中都会遇到各种问题,因此建议按照以下方法进行查阅:

1.  到QA文档中查询是否有类似的问题和解决方案,QA文档链接:https://docs.qq.com/doc/DSGZhdnpMV3lTUUxq?u=e664e79acf4f467aa99c565ea317e288

2.  通过以下四种方式寻求社区解答:

(1)Issue提问:在对应的项目GitHub地址中提Issue,把遇到的问题详细描述;

(2)邮件提问:订阅Apache邮件,通过发送邮件进行提问,订阅攻略链接:https://linkis.apache.org/zh-CN/community/how-to-subscribe

(3)QA文档提问:直接在QA文档中录入遇到的问题

(4)社群提问:在QQ和微信群进行提问

当你发起提问后,请耐心等待,社区的开发者会通过以上四个渠道进行答疑。


四、沙箱环境体验

为了方便新用户了解WeDataSphere的功能,社区提供了沙箱环境的体验版本。进行注册后即可登录使用。

  • 沙箱环境网址:https://dss-open.wedatasphere.com/

  • 登录账户/密码:注册手机号/手机号后六位

在沙箱体验的过程中,请参考沙箱使用指南:《保姆级教程:DSS沙箱环境使用指南》

五、学习资料

1.  技术文章:涵盖了安装部署、使用实践、开发指南等各领域,点击以下文章跳转到文章集锦:《WeDataSphere社区文章集锦》

2.  视频教程:https://space.bilibili.com/598542776


六、如何参与社区

全部活动计划将持续更新,包括但不限于如下参与方式,如果您对社区活动感兴趣,欢迎关注或联系 WeDataSphere 小助手。

(1)参与社区双周例会:每双周社区定期召开开发者例会,主要对社区感兴趣的都可以参与,参与指引详见文章:《参与Apache Linkis社区开发者双周例会,与社区共同成长》

(2)社区征文:包括但不限于:生产案例、源码解读、应用实例、教程演示等;

(3)社区活动:日常在社区群中发布社区活动,社区用户积极参与;

(4)成为分享嘉宾:参与贡献的优秀社区成员,即有机会受邀参与社区分享;同时,可以根据项目经验,主动联系小助手成为分享嘉宾。

(5)成为社区布道师:优秀社区成员有机会受邀成为社区布道师,或者主动联系小助手成为社区布道师。

有任何问题,请微信联系小助手

七、如何为社区做贡献

【主要贡献方式说明】

● 新手任务:认领入门任务,详见 https://github.com/apache/incubator-linkis/issues/1161

● 文档类贡献:文档的补充完善对于社区的发展至关重要,希望你能从现有的文档中发现需要优化与改进地方。内容包括但不限于安装部署、使用经验、案例实践等,可以投稿给小助手或在对应的项目 Issue 中录入你的文章,例如 linkis https://github.com/apache/incubator-linkis/issues/1233

● 代码贡献:包括但不限于 Bug 反馈与修复、提交 PR。

 社区问题解答:帮助回答问题是为社区做贡献的一个非常有价值的方式;社区中会有新成员,新伙伴不断的加入进来,帮助新人的同时,正是展现你专业知识的好机会。

● 成为社区志愿者:非代码类贡献,包括但不限于网站翻译、编辑排版、投稿、演讲、组织活动等。


本文分享自微信公众号 - WeDataSphere(gh_273e85fce73b)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
0
分享
AI总结
返回顶部
顶部