数据应用开发管理集成框架 DataSphere Studio 1.1.2 新版本发布

原创
2023/08/14 16:00
阅读数 734
AI总结

DataSphere Studio 简介

DataSphere Studio(简称 DSS)是微众银行自研的数据应用开发管理集成框架。基于插拔式的集成框架设计,及计算中间件 Linkis ,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。

在统一的 UI 下,DataSphere Studio 以工作流式的图形化拖拽开发体验,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。

DSS 通过插拔式的集成框架设计,让用户可以根据需要,简单快速替换 DSS 已集成的各种功能组件,或新增功能组件。

GitHub:https://github.com/WeBankFinTech/DataSphereStudio


DSS1.1.2 版本说明

DSS1.1.2 主要新增如下特性功能:

  • 将微服务进行合并。由六个微服务合并成DSS-Server和DSS-Apps-Server两个服务,极大地降低了部署和排查问题难度

  • 支持微服务DSS-Server和DSS-Apps-Server多活部署,实现系统的高可用

  • 已与Apache Linkis 最新版本1.4.0完成集成,用户可以一键完成两个组件的安装部署

  • 支持优雅升级。提供了如何从DSS 1.1.1到DSS 1.1.2的升级文档

  • 用户体验优化。如支持结果集和日志全屏展示,异常信息更加明确,用户登录后项目信息展示等

  • 新增工作流复制和导入导出功能,便于用户对工作流进行迁移

  • 支持用户手动解除工作流的编辑锁

缩写:

  • DSS: DataSphereStudio


新特性

  • [DSS-Structure] 将后台微服务合并

  • [DSS-Structure] 支持微服务DSS-Server和DSS-Apps-Server多活部署,实现系统的高可用

  • [DSS-Commons] 与Apache Linkis 最新版本1.4.0完成集成

  • [DSS-Deployment] 支持优雅升级,从DSS1.1.1到1.1.2

  • [DSS-Workflow] 新增工作流复制和导入导出功能

  • [DSS-Workflow] 支持用户手动解除工作流的编辑锁

  • [DSS-UI] 支持结果集和日志全屏展示,前端异常信息更加明确等


功能增强

  • [DSS-Workspace] 新增公告栏功能,支持向用户定时或周期性发布公告

  • [DSS-Workspace] 进入工作流编辑页面后,左侧项目栏可切换展示个人项目和所有项目

  • [DSS-Workspace] 新建项目时项目名称在输入时就做校验

  • [DSS-Workspace] 项目展示时默认展示为我创建的项目

  • [DSS-Workspace] 新增用户默认加入两个工作空间

  • [DSS-Workspace] 工作空间管理员权限优化

  • [DSS-Scriptis] Scriptis浮窗中数字展示信息由任务数调整为引擎数

  • [DSS-Scriptis] Scriptis右下角箭头引擎管理页面,添加选择所有空闲引擎按钮

  • [DSS-Scriptis] 建表向导校验规则优化

  • [DSS-Scriptis] 浏览器版本检测告警

  • [DSS-Scriptis] 新增Tsql(trino)类型脚本

  • [DSS-Commons] DSS日志异常优化,给用户返回的异常信息更加全面与准确

  • [DSS-Commons] 第三方AppConn依赖优化,由DSS统一管理第三方依赖的Apache Linkis包

  • [DSS-Workflow] DSS工作流节点DataChecker支持识别${run_today_h} ,${yyyyMM},JobDesc长度支持到5000

  • [DSS-Workflow] 工作流Spark节点任务配置默认去掉单位G,支持节点中脚本对Spark参数进行设置

  • [DSS-Workflow] 对代码中导入导出编排的事务进行优化

  • [DSS-Workflow] 在workflow-entrance模块中,去除Apache Linkis默认的拦截器

  • [DSS-AppConn] linkis-appconn-engineplugin模块去除Apache Linkis依赖

  • [DSS-AppConn] AppConn引擎退出时清理下载的lib包

  • [DSS-AppConn] AppConns接口新加一个isMicroApp字段,表示微应用

  • [DSS-Appconn] Linkis jobtype插件日志打印优化

  • [DSS-Commons] 定时自动清理数据库中不再使用的ContextMap和ContextID

  • [DSS-Commons] 新增审计日志打印,便于保留用户操作记录

  • [DSS-Commons] 新用户引导优化

  • [DSS-Commons] 版本发布时前端提示用户刷新


BUG修复

  • [DSS-Scriptis] 修复Scriptis页面刷新后前端重复调用相同接口导致加载慢的问题

  • [DSS-AppConn] 修复Schedulis抛出的报错信息不明确问题

  • [DSS-Appconn] 修复Schedulis日志打印问题,改为只打印前1024个字符

  • [DSS-Workflow] 修复工作流名称和工程名称过长问题

  • [DSS-Workflow] 修复工作流节点名称展示不全问题

  • [DSS-Workflow] 修复工作流编辑界面下方的横向拖动条用户无法查看的问题

  • [DSS-Web] 修复使用时浏览器卡顿问题


安装包

· DSS1.1.2&Linkis1.4.0一键安装包:

https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/1.1.2/dss_linkis_one-click_install_20230809.zip

· DSS1.1.2安装包:

https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/1.1.2/dss_install_20230809.zip


贡献者

DSS 1.1.2 的发布离不开DSS社区的贡献者,感谢所有的社区贡献者。


— END —

如何成为社区贡献者

 官方文档贡献。发现文档的不足、优化文档,持续更新文档等方式参与社区贡献。通过文档贡献,让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略:保姆级教程:如何成为Apache Linkis文档贡献者


 代码贡献。我们梳理了社区中简单并且容易入门的的任务,非常适合新人做代码贡献。请查阅新手任务列表:https://github.com/apache/incubator-linkis/issues/1161


 内容贡献:发布WeDataSphere开源组件相关的内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。例如:


 社区答疑:积极在社区中进行答疑、分享技术、帮助开发者解决问题等;


 其他:积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等;

本文分享自微信公众号 - WeDataSphere(gh_273e85fce73b)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
0
分享
AI总结
返回顶部
顶部