版本动态 | Apache Linkis 1.5.0 版本发布

原创
2024/01/04 16:00
阅读数 118
Apache Linkis  1.5.0 版本已经发布,非常感谢社区各位成员对 1.5.0版本的贡献和付出。
本次版本是一个大版本,新增了多个社区期待已久的特性,如:注册中心支持切换Nacos、新增Hbase、Nabula、repl等多个引擎、新增SPARK引擎插件支持 on Yarn Cluster模式、SPARK和Flink引擎插件支持 on k8s提交Jar任务等功能特性,并修复了多个已知问题。
详情请查看 Apache Linkis 官方1.5.0的版本信息:
https://linkis.apache.org/zh-CN/download/release-notes-1.5.0

Apache Linkis 1.5.0 版本简介
● 注册中心支持将Eureka切换为Nacos
● 新增Hbase引擎插件,支持Hbase-shell全部语法并兼容多版本
● 新增Nebula引擎插件
● 新增Repl解释器引擎插件,支持运行Java和Scala代码片段
● 支持Spark EC on k8s 提交jar和Pyspark 任务
● 支持 Flink EC on k8s 提交jar任务
● Spark 引擎插件支持on yarn cluster运行模式
● Linkis JDBC driver支持多引擎多版本的选择
● 基础数据管理增加配置项管理,支持管理员管理各个引擎插件的配置项
● 管理台增加运维工具,并新加入了用户配置管理,支持管理员调整用户配置和模版管理
● 【实验性】Entrance支持任务接管,可以做到Entrance无状态

缩写:
 COMMON: Linkis Common
● ENTRANCE: Linkis Entrance
● EC: EngineConn
● ECM: EngineConnManager
● ECP: EngineConnPlugin
● DMS: Data Source Manager Service
● MDS: MetaData Manager Service
● LM: Linkis Manager
● PS: Linkis Public Service
● PE: Linkis Public Enhancement
● RPC: Linkis Common RPC
● CG: Linkis Computation Governance
● DEPLOY: Linkis Deployment
● WEB: Linkis Web
● GATEWAY: Linkis Gateway
  EP: Engine Plugin

新特性

● [EC] LINKIS-5008  注册中心支持Nacos
● [GATEWAY] LINKIS-4992  Gateway支持访问控制配置
● [EC-REPL] LINKIS-4937  新增Repl解释器引擎插件,支持执行scala和Java代码
● [EC-NEBULA] LINKIS-4903  新增nebula引擎插件
● [EC-HBASE] LINKIS-4891  新增Hbase引擎插件
● [EC-SPARK] LINKIS-4850  SPARK 引擎插件支持On Yarn Cluster运行
● [EC-SPARK] LINKIS-4867  SPARK 引擎插件支持提交Jar任务on k8s
● [EC-SPARK] LINKIS-4906  SPARK引擎插件支持提交pyspark job on k8s
● [JDBC-DRIVER] LINKIS-4930  JDBCDriver支持引擎多版本
● [EC-FLINK] LINKIS-4753  Flink引擎插件 升级为1.16.2并兼容多版本
● [ENTRANCE] LINKIS-4282  实验性:Entrance服务支持HA
● [MONITOR] LINKIS-4905  实验性:新增Linkis Monitor服务
● [WEB] LINKIS-4940  实验性:管理台前端新架构升级

功能增强

● [ECM] LINKIS-4990  支持管理台下载EC的日志文件
● [EC] LINKIS-4982  EC指标丰富增加锁空闲等时间指标
● [WEB] LINKIS-4954  管理台增加用户配置管理页面
● [EC-SPARK] LINKIS-4961  Pyspark 新增更多的默认class import
● [EC-PYTHON] LINKIS-4835  Python引擎插件优化打印,错误信息打印优化
● [EC-SPARK] LINKIS-4896  SPARK Once 任务支持EngineConnRuntimeMode标签配置
● [LM] LINKIS-4914  LM资源排序选择规则优化为从按大到小
● [WEB] LINKIS-4935  管理台支持配置spark.conf参数,支持配置多个SPARK的原生参数
● [EC] LINKIS-4714  EC 支持指定Debug端口范围
● [EC-FLINK] LINKIS-5023  Flink引擎插件支持读取用户自定义的log4j配置
● [PES] LINKIS-4838  文件读取和写入接口支持更多参数和操作
● [LM] LINKIS-4850  LM支持管理K8s资源
● [PE] LINKIS-4847  优化模块数合并公共数据源模块
● [PE] LINKIS-4853  优化模块数合并公共客户端模块为pes-client模块
● [PE] LINKIS-4854  优化模块数合并公共服务的多个模块
● [PE] LINKIS-4934  数据源服务支持合并和单独部署
● [EC-FLINK] LINKIS-5025  Flink 引擎插件支持加载默认配置
● [EC-JDBC]LINKIS-5007  JDBC引擎插件支持多任务间的任务串联

修复功能

● [EC-Flink]LINKIS-5041 修复交互式Flink SQL打印状态获取错误日志问题
● [MDS]LINKIS-4998 ES数据源兼容6.X和7.X
● [EC-SPARK]LINKIS-4996 SPARK引擎插件 Scala任务支持将错误信息打印到任务日志中
● [ENTRANCE]LINKIS-4967 修复SQL解析comment中带有分号导致的解析错误
● [EC]LINKIS-4920 修复结果集null返回为字符串NULL问题
● [CLI]LINKIS-4919 Client修复并发的NPE问题
● [CG]LINKIS-4915 修复LM的ECM选择逻辑存在错误选择负载高的问题
● [LM]LINKIS-4860 修复linkis-httpclient post接口中文乱码问题
● [LM]LINKIS-4771 Linkis-Cli once job提交应该为Once模式
● [LM]LINKIS-4731 Kill EC脚本应该去跳过ECM的进程

详细指引
● 本版本总览: https://linkis.apache.org/zh-CN/download/release-notes-1.5.0
● 详细安装部署见指引: https://linkis.apache.org/zh-CN/docs/latest/deployment/deploy-quick
● 官方下载链接: https://linkis.apache.org/zh-CN/download/main

社区贡献者

Apache Linkis 1.5.0 的发布离不开 Linkis 社区的贡献者,感谢所有的社区贡献者,包括但不仅限于以下 Contributors(排名不分先后):


— END —

如何成为社区贡献者

 官方文档贡献。发现文档的不足、优化文档,持续更新文档等方式参与社区贡献。通过文档贡献,让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略:保姆级教程:如何成为Apache Linkis文档贡献者


 代码贡献。我们梳理了社区中简单并且容易入门的的任务,非常适合新人做代码贡献。请查阅新手任务列表:https://github.com/apache/incubator-linkis/issues/1161


 内容贡献:发布WeDataSphere开源组件相关的内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。例如:


 社区答疑:积极在社区中进行答疑、分享技术、帮助开发者解决问题等;


 其他:积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等;

本文分享自微信公众号 - WeDataSphere(gh_273e85fce73b)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
0
分享
返回顶部
顶部