Streamis 简介
Streamis 是微众银行联合天翼云、仙翁科技和萨摩耶云联合共建的流式应用开发管理系统。基于 DataSphere Studio 的框架化能力,以及底层对接 Linkis 的 Flink 引擎,让用户低成本完成流式应用的开发、调试、发布和生产管理。
未来还规划将以工作流式的图形化拖拽开发体验,将流式应用以Source节点、 Dimension节点、Transform节点、Sink节点 和 Visualis 节点串连成一条流式工作流,让用户以更低的学习成本完成流式应用的开发、调试和发布。
Github:https://github.com/WeBankFinTech/Streamis
Streamis 0.3.0新版本说明
Streamis 0.3.0 有一些重要架构更新和优化,主要是支持分离式Flink应用和Flink管理引擎连接器,增加作业启动前检查快照和同名应用,支持DSS代理用户。增加对Flink应用日志聚合采集回写本地。Streamis 0.3.0兼容Linkis多版本(>= 1.1.2),但是分离式相关特性需要1.4.0以上。
Streamis 0.3.0 主要新增如下特性:
Flink任务增加分离式管理模式(要求Linkis 1.4.0)
增加Flink管理ec支持(要求Linkis 1.4.0)
作业任务启动增加启动检查,检查快照地址和yarn上同名应用(要求Linkis 1.4.0)
支持DSS代理用户(要求DSS 1.1.2)
采集并聚合Yarn流应用日志回调,在streamis端写入本地。采集端支持按照不同级别筛选回调日志
缩写:
DSS: DataSphereStudio
新特性
[Streamis-jobmanager] flink任务增加分离式管理模式
[Streamis-jobmanager] 增加flink管理ec支持
[Streamis-jobmanager] Streamis作业任务启动增加启动检查
[Streamis-jobmanager] 启动作业时,会自动检查yarn上同名应用
[Streamis-jobmanager] streamis应用参数配置导入
[Streamis-jobmanager] 采集并聚合流应用日志,在streamis端写入本地
[Streamis-appconn] Streamis数据接口权限调整
[Streamis-appconn] 配合DSS切换代理用户
[Streamis-jobmanager] 作业支持标签筛选
功能增强
[Streamis-Web] 任务配置界面的渲染和接口调整
[Streamis-jobmanager] 实现流应用自动重启并优化幂问题
[Streamis-jobmanager] Streamis任务中止流程调整, 优化了作业停止功能,加入调度
[Streamis-jobmanager] 采集端增加关键字过滤策略
[Streamis-jobmanager] 应用初始化支持应用在线导入及版本管理
[Streamis-jobmanager] 任务启动前检查失败告警人
[Streamis-jobmanager] 支持多盘符存储流应用日志
[Streamis-projectmanager] 上传项目资源文件添加md5
BUG修复
[Streamis-Web] 修复历史任务日志页面不能显示下一页的问题, 在日志界面显示flink ec分页日志
[Streamis] 修复了代码扫描的漏洞和异味
贡献者
Streamis 0.3.0 的发布离不开Streamis社区的贡献者,感谢所有的社区贡献者。
安装包
Streamis0.3.0安装包:https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.3.0/wedatasphere-streamis-0.3.0-dist.tar.gz
Streamis0.3.0 appconn插件包:https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.3.0/streamis-appconn-0.3.0.zip
DSS1.1.2&Linkis1.4.0一键安装包:https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/1.1.2/dss_linkis_one-click_install_20230809.zip
如何成为社区贡献者
1 ► 官方文档贡献。发现文档的不足、优化文档,持续更新文档等方式参与社区贡献。通过文档贡献,让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略:保姆级教程:如何成为Apache Linkis文档贡献者
2 ► 代码贡献。我们梳理了社区中简单并且容易入门的的任务,非常适合新人做代码贡献。请查阅新手任务列表:https://github.com/apache/incubator-linkis/issues/1161
3 ► 内容贡献:发布WeDataSphere开源组件相关的内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。例如:
4 ► 社区答疑:积极在社区中进行答疑、分享技术、帮助开发者解决问题等;
5 ► 其他:积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等;

本文分享自微信公众号 - WeDataSphere(gh_273e85fce73b)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。