尊敬的开源社区用户们，我们怀着无比激动的心情向大家宣布，备受期待的一站式开源大数据平台套件WeDataSphere和计算中间件Apache Linkis 即将推出全新版本！这次升级将为您带来令人瞩目的新特性和功能改进，为您的数据处理和分析提供全新的突破和体验。
发布时间：预计8月（具体时间以项目发布为准）
WeDataSphere和Apache Linkis一直致力于为用户提供强大的工具和组件，以满足不断发展的大数据需求。让我们一起来看看这次版本升级中的重要亮点。
一、Apache Linkis 计算中间件
项目地址：https://github.com/apache/linkis
新版本特性说明：（最终特性以发布版本为准）
1. hadoop、hive、spark依赖性降低，并解决多版本的兼容问题
2. Linkis元数据信息支持存储PG
3. 支持对接S3和OSS等对象存储
4. 支持一套Linkis对接多套Hadoop集群
5. 数据源支持OceanBase、tidb、starrocks、Gaussdb等数据源，并支持Spark DDL的生成
6. Spark etl任务支持excel、redis、RocketMQ 、mongo、es、solr、kafka、datalake 等数据源
7. ECM无状态化，更加方便平滑升级和重启
8. Linkis JDBC Driver优化支持对接不同类型的引擎和任务
9. 增加任务链路跟踪日志，方便通过唯一任务ID定位问题
10.新增Impala引擎插件
12. Hive引擎支持类似Hiveserver2 的并发执行模式，减少Hive任务资源使用
13. Flink引擎插件支持提交On K8S的任务
14. 多个模块完成Scala到Java代码的转换
二、DataSphereStudio 数据应用开发管理集成框架
项目地址：https://github.com/WeBankFinTech/DataSphereStudio
新版本特性说明：（最终特性以发布版本为准）
1. 通过AppConn的方式集成Spark ETL，以工作流节点的方式在DSS执行
2. 后台微服务合并，由上一个版本的7个微服务合并成2个微服务
3. 多活改造，每个微服务均支持部署多个节点，实现高可用
4. Scriptis脚本编辑框的自定义变量栏支持选择数据源
5. Scriptis中数据库里面的库表信息页面表支持批量全选
6. 浏览器版本检测告警，在用户登录会提示用户使用哪个版本的浏览器体验最佳
7. 工作空间管理员权限优化，放开授权工作空间管理员的限制
8. Datachecker节点改造，通过配置参数job.eventchecker.qualitis.switch=true来判断是否开启
Hadoop层数据校验，而不仅仅校验Hive元数据;支持该节点配置&{yyyyMM}，${run_today_h}等多种日期格式，JobDesc长度是由1000修改到5000
9. 新增公告栏，用于向用户宣导平台需要展示的信息
10. 修复工作流和工程名长度的问题，同时会校验项目名称
11. Linkis jobtype插件日志打印优化，以支持Schedulis获取Linkis任务的执行日志
12. 在workflow-entrance模块中，增加一个FlowEntranceSpringConfiguration配置类，只装配以下4个必要的interceptor bean，覆盖掉linkis默认的拦截器
13. 优化linkis-appconn-engineplugin模块，去除linkis依赖
14. Scriptis页面刷新后前端重复调用相同接口优化，降低页面加载时间
15. 优化在请求Schedulis时出现异常时返回的信息，同时对打印的日志进行长度优化，只打印前1024个字符
16. 延长错误信息提醒框常驻展示，以便用户能够查看详细的错误信息
17. 优化Appconn引擎退出时清理下载的lib包，降低磁盘空间的占用
18. 工作流节点名称展示优化，将节点默认展示的字符数由12个扩展到17个
19. Appconns接口新加一个isMicroApp字段，表示微应用，以适配对接到DSS的微应用
20. 优化查看表结构时，分区信息展示的内容，自适应屏幕，铺满页面
21. 优化新用户引导
22. DSS版本发布后在前端提示用户对页面进行刷新
23. Scriptis建表向导校验项优化
24. 编辑锁提供用户主动解锁按钮
25. 增加工作流级别的导入导出功能，并优化其中的事务
26. Scriptis右下角箭头引擎管理页面，添加选择所有空闲引擎按钮
27. 在工作流节点中支持用户自定义配置spark参数
28. Scriptis中数据库批量删除表在二次复核时支持全选
29. 增加工作空间管理员是否有权限查看所有项目的选项
30. 新用户默认加入两个工作空间
31. 对所有接口添加审计日志
32. 支持工作流复制
33. Scriptis中查看表详情表字段信息时支持拉长字段名
34. 进入工作流编辑页面,左侧项目栏可切换展示个人项目和所有项目
35. 对代码中异常提示进行了优化，关联相关错误码
36. 第三方组件依赖优化，DSS统一管理第三方依赖的Linkis包
37. Scriptis浮窗中数字现在展示的是任务数，调整为展示引擎数
38. 启动定时任务清理老的ContextMap和ContextID
39. 新增Tsql类型脚本
40. 项目展示时默认展示为我创建的项目
41. spark任务配置参数默认去掉单位G
42. 结果集展示、日志展示等支持全屏显示
43. 优化工作流编辑界面下方横向拖动条的展示
44. 代码缺陷修复,将代码中存在的漏洞进行了修复
三、Qualitis 数据质量管理平台
项目地址：https://github.com/WeBankFinTech/Qualitis
新版本特性说明：（最终特性以发布版本为准）
1. 数据源的校验支持
2. 指标功能完善
四、Schedulis 工作流任务调度系统
项目地址：https://github.com/WeBankFinTech/Schedulis
新版本特性说明：（最终特性以发布版本为准）
1. 适配 Linkis 1.4.0 + DSS 1.1.2
2. HA web服务高可用，发送IMS告警问题修复 （issue #101)
3. 子工作流状态反转为failed_skiped问题修复
4. 子工作流kill时错误翻转为success问题修复
5. yaml flow未识别问题修复
五、Exchangis 数据交换平台
项目地址：https://github.com/WeBankFinTech/Exchangis
新版本特性说明：（最终特性以发布版本为准）
1. 项目和任务功能修复
2. 日志查询功能修复
3. 新增Oracle数据源
4. 项目权限控制功能
5. 字段规则映射管理功能
6. 新增DATAX引擎
7. 数据源连接敏感信息加密
8. 后台存储引擎配置和映射函数列表
六、Visualis 数据可视化工具
项目地址：https://github.com/WeBankFinTech/Visualis
新版本特性说明：（最终特性以发布版本为准）
1. 在Display和DashBoard节点原有的执行方式上，提供异步执行模式。（该方式需要在AppConn中配置开启）
2. 修复DSS刷新Visualis AppConn不生效问题
3. 修复Widget前端渲染折线图时，百分比数据显示异常问题
4. 修复Widget图表内容垂直方向布局元素过多，图表显示溢出问题
5. 支持DSS项目内部工作流复制功能
七、Streamis 流式应用开发管理系统
项目地址：https://github.com/WeBankFinTech/Streamis
新版本特性说明：（最终特性以发布版本为准）
1.【前端】流式应用的 Yarn 执行日志展示
2.【作业管理】流式任务批量重启操作
3.【作业管理】Streamis任务中止流程调整
4.【前端】任务配置界面的渲染和接口调整
5.【作业管理】实现流应用自动重启并优化幂问题
6.【作业管理】Streamis自动获取Checkpoint文件信息
7.【项目权限管理】Streamis数据接口权限调整
8.【AppConn】Streamis的AppConn接入
9.【前端】日志界面显示flink ec日志，支持分页
10.【流作业日志管理】采集并聚合流应用日志，在streamis端写入本地
11.【权限管理】配合DSS切换代理用户
12.【流作业日志管理】采集端增加关键字过滤策略
13.【流作业日志管理】支持多盘符存储流应用日志
14.【流作业版本管理】streamis 应用初始化支持应用运行在线导入及版本管理
15.【流作业版本管理】streamis作业任务启动增加启动检查
16.【流作业配置管理】streamis应用参数配置导入需求
17.【flink引擎特性支持】 flink任务增加分离式管理模式
18.【flink引擎特性支持】增加flink管理ec支持
19.【流式作业管理】标签筛选
20. 【流式作业管理】标签批量修改
21. 【功能优化】上传job zip包自动清理
22. 【作业配置管理】任务启动前检查失败告警人
23.【项目资源管理】上传项目资源文件添加md5
24.【作业启动优化】启动作业时，会自动检查yarn上同名应用
我们团队在这次版本升级中投入了大量心血，力求为广大开源社区用户提供更好的数据处理和分析工具。我们相信，新版本的WeDataSphere和Apache Linkis将为您的大数据工作带来更高效、更智能的体验。
敬请期待全新版本的正式发布！我们相信，这次升级将为您的数据处理工作带来更多的便利和创新。请持续关注我们的公众号，了解更多关于WeDataSphere的最新动态和使用技巧。如果您有任何问题或建议，欢迎随时与我们联系。
感谢您一直以来对WeDataSphere和Apache Linkis的支持，让我们一起期待开源大数据平台的全新篇章！
如何成为社区贡献者
1 ► 官方文档贡献。发现文档的不足、优化文档，持续更新文档等方式参与社区贡献。通过文档贡献，让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略：保姆级教程：如何成为Apache Linkis文档贡献者
2 ► 代码贡献。我们梳理了社区中简单并且容易入门的的任务，非常适合新人做代码贡献。请查阅新手任务列表：https://github.com/apache/incubator-linkis/issues/1161
3 ► 内容贡献：发布WeDataSphere开源组件相关的内容，包括但不限于安装部署教程、使用经验、案例实践等，形式不限，请投稿给小助手。例如：
4 ► 社区答疑：积极在社区中进行答疑、分享技术、帮助开发者解决问题等；
5 ► 其他：积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等；
本文分享自微信公众号 - WeDataSphere（gh_273e85fce73b）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
