DSS使用分享

原创
06/09 16:27
阅读数 703

【我与WeDataSphere的故事】征文大赛获奖文章分享(七)

赵爱清

信息发展 高级架构师

15年+的软件开发经验,现就职于信息发展担任高级架构师,有着丰富的大数据架构搭建和大数据应用实战经验,熟悉spark开发和hive等的数据仓库开发,对大数据框架的源码有深入了解。

01  使用背景


可能和其它公司不太一样,我们公司主要是以接项目开发为主,这二年数据治理、数据分析方面的项目越来越多,大公司的项目本身就有数据开发平台,我们可以直接使用,用过的有阿里的Datawork,华为的dayu,星环的,有些没有数据没有数据开发平台我们都使用这个单一的开源软件 zeppelin、cdh、dolphine、帆软等也能完成任务,这样对于做项目投入成本很高,所有部门解决自己开发一个数据平台,正好这个时候看到dss+linkis这个是国内优秀的开源项目,在这里先感谢微众的小伙伴们的贡献和一直一来的热心指导,基本可以满足我们的要求,DSS组件化的设计也是我们需要的,经过测试后,就选定在此基础上做二次开发。


02 使用情况


现阶段还处于整合阶段,DSS有些功能直接可以满足我们需求,有些功能还需要我们改造,现在的改造地方如下:

1)整合公司现有的系统管理平台也现实用户权限的管理。
2)整合公司现在的编目系统
3)整合dolphinscheduler调度平台
4)整合公司BI系统


03 期待功能与改进

1、元数据管理

2、数据API共享

3、执行SQL时(初次或者一段时间后会重新启动引擎)效率有待提高

4、数据开发那边没有办法直接引用资源

再次感谢微众的小伙伴们的贡献和一直一来的热心指导。



 扫码关注我们 

                               更多惊喜,请点击阅读原文                                                    


本文分享自微信公众号 - WeDataSphere(gh_273e85fce73b)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部