DataSphere Studio 简介
DataSphere Studio(简称 DSS)是微众银行自研的数据应用开发管理集成框架。基于插拔式的集成框架设计,及计算中间件 Linkis ,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。
在统一的 UI 下,DataSphere Studio 以工作流式的图形化拖拽开发体验,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。
DSS 通过插拔式的集成框架设计,让用户可以根据需要,简单快速替换 DSS 已集成的各种功能组件,或新增功能组件。
GitHub:https://github.com/WeBankFinTech/DataSphereStudio
DSS1.1.2 版本说明
DSS1.1.2 主要新增如下特性功能:
将微服务进行合并。由六个微服务合并成DSS-Server和DSS-Apps-Server两个服务,极大地降低了部署和排查问题难度
支持微服务DSS-Server和DSS-Apps-Server多活部署,实现系统的高可用
已与Apache Linkis 最新版本1.4.0完成集成,用户可以一键完成两个组件的安装部署
支持优雅升级。提供了如何从DSS 1.1.1到DSS 1.1.2的升级文档
用户体验优化。如支持结果集和日志全屏展示,异常信息更加明确,用户登录后项目信息展示等
新增工作流复制和导入导出功能,便于用户对工作流进行迁移
支持用户手动解除工作流的编辑锁
缩写:
DSS: DataSphereStudio
新特性
[DSS-Structure] 将后台微服务合并
[DSS-Structure] 支持微服务DSS-Server和DSS-Apps-Server多活部署,实现系统的高可用
[DSS-Commons] 与Apache Linkis 最新版本1.4.0完成集成
[DSS-Deployment] 支持优雅升级,从DSS1.1.1到1.1.2
[DSS-Workflow] 新增工作流复制和导入导出功能
[DSS-Workflow] 支持用户手动解除工作流的编辑锁
[DSS-UI] 支持结果集和日志全屏展示,前端异常信息更加明确等
功能增强
[DSS-Workspace] 新增公告栏功能,支持向用户定时或周期性发布公告
[DSS-Workspace] 进入工作流编辑页面后,左侧项目栏可切换展示个人项目和所有项目
[DSS-Workspace] 新建项目时项目名称在输入时就做校验
[DSS-Workspace] 项目展示时默认展示为我创建的项目
[DSS-Workspace] 新增用户默认加入两个工作空间
[DSS-Workspace] 工作空间管理员权限优化
[DSS-Scriptis] Scriptis浮窗中数字展示信息由任务数调整为引擎数
[DSS-Scriptis] Scriptis右下角箭头引擎管理页面,添加选择所有空闲引擎按钮
[DSS-Scriptis] 建表向导校验规则优化
[DSS-Scriptis] 浏览器版本检测告警
[DSS-Scriptis] 新增Tsql(trino)类型脚本
[DSS-Commons] DSS日志异常优化,给用户返回的异常信息更加全面与准确
[DSS-Commons] 第三方AppConn依赖优化,由DSS统一管理第三方依赖的Apache Linkis包
[DSS-Workflow] DSS工作流节点DataChecker支持识别${run_today_h} ,${yyyyMM},JobDesc长度支持到5000
[DSS-Workflow] 工作流Spark节点任务配置默认去掉单位G,支持节点中脚本对Spark参数进行设置
[DSS-Workflow] 对代码中导入导出编排的事务进行优化
[DSS-Workflow] 在workflow-entrance模块中,去除Apache Linkis默认的拦截器
[DSS-AppConn] linkis-appconn-engineplugin模块去除Apache Linkis依赖
[DSS-AppConn] AppConn引擎退出时清理下载的lib包
[DSS-AppConn] AppConns接口新加一个isMicroApp字段,表示微应用
[DSS-Appconn] Linkis jobtype插件日志打印优化
[DSS-Commons] 定时自动清理数据库中不再使用的ContextMap和ContextID
[DSS-Commons] 新增审计日志打印,便于保留用户操作记录
[DSS-Commons] 新用户引导优化
[DSS-Commons] 版本发布时前端提示用户刷新
BUG修复
[DSS-Scriptis] 修复Scriptis页面刷新后前端重复调用相同接口导致加载慢的问题
[DSS-AppConn] 修复Schedulis抛出的报错信息不明确问题
[DSS-Appconn] 修复Schedulis日志打印问题,改为只打印前1024个字符
[DSS-Workflow] 修复工作流名称和工程名称过长问题
[DSS-Workflow] 修复工作流节点名称展示不全问题
[DSS-Workflow] 修复工作流编辑界面下方的横向拖动条用户无法查看的问题
[DSS-Web] 修复使用时浏览器卡顿问题
安装包
· DSS1.1.2&Linkis1.4.0一键安装包:
https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/1.1.2/dss_linkis_one-click_install_20230809.zip
· DSS1.1.2安装包:
https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/1.1.2/dss_install_20230809.zip
贡献者
DSS 1.1.2 的发布离不开DSS社区的贡献者,感谢所有的社区贡献者。
如何成为社区贡献者
1 ► 官方文档贡献。发现文档的不足、优化文档,持续更新文档等方式参与社区贡献。通过文档贡献,让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略:保姆级教程:如何成为Apache Linkis文档贡献者
2 ► 代码贡献。我们梳理了社区中简单并且容易入门的的任务,非常适合新人做代码贡献。请查阅新手任务列表:https://github.com/apache/incubator-linkis/issues/1161
3 ► 内容贡献:发布WeDataSphere开源组件相关的内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。例如:
4 ► 社区答疑:积极在社区中进行答疑、分享技术、帮助开发者解决问题等;
5 ► 其他:积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等;
本文分享自微信公众号 - WeDataSphere(gh_273e85fce73b)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。