【里程碑】Linkis 1.0.0-RC1 版本发布

原创
03/18 09:00
阅读数 266



【里程碑】Linkis 1.0.0-RC1 






Linkis 1.0.0-RC1 是 Linkis 里程碑式的重大版本,提供了超 60 个新特性和功能增强, 标志着 Linkis 正式进入1.0版本时代。



    Linkis 1.0.0-RC1


Linkis是什么?

Linkis 在上层应用和底层引擎之间构建了一层计算中间件,上层应用只需对接 Linkis 提供的 REST/WS/JDBC 等标准接口,就能连接到 MySQL/Spark/Hive/Presto/Flink 等各种底层计算存储引擎,并实现上层应用间的互通。

Linkis1.0.0-RC1 带来了“计算治理”理念的全新架构实现,提供了全栈计算/存储引擎的架构支持,包括离线批量型、交互式型、实时流式型和存储型,并新增了多种新特性,向下兼容 Linkis0.X 版本的所有接口。

:

https://github.com/WeBankFinTech/Linkis






    新版简介




丰富的底层计算存储引擎支持度

  1. 已支持的计算存储引擎:Spark、Hive、Python、Presto、ElasticSearch、MLSQL、TiSpark、JDBC和Shell等;

  2. 集成中的计算存储引擎:Flink、Impala和Clickhouse等;

  3. 已支持的脚本语言SparkSQL、Scala、Pyspark、R、Python、JDBC、HiveQL和Shell等。

强大的计算治理能力。Linkis 1.0总体分为三大模块:公共增强服务、计算治理服务、微服务治理服务。三大模块简介如下:

  1. 公共增强服务为Linkis 0.X已经提供的物料库服务、上下文服务、数据源服务和公共服务等;

  2. 微服务治理服务为Linkis 0.X已经提供Spring Cloud Gateway、Eureka和Open Feign,同时 Linkis1.0还会提供对Nacos的支持;

  3. 计算治理服务是Linkis 1.0的核心重点,从 提交 —> 准备 —> 执行三个阶段,来全面升级Linkis 对 用户任务的执行管控能力。

全栈计算存储引擎架构支持。作为计算中间件,将接收、执行和管理针对各种计算存储引擎的任务和请求,包括离线批量型、交互式型、实时流式型和存储型任务,并提供强大的复用、预热、限流、切换、全生命周期管理等计算治理能力;

更强大的资源管理能力。ResourceManager不仅具备Linkis0.X对Yarn和Linkis EngineManager的资源管理能力,还将提供基于标签的多级资源分配和回收能力,让ResourceManager具备跨集群、跨计算资源类型的强大资源管理能力;

全流程标签化。基于多级组合标签,提供跨IDC、跨集群的计算任务路由管控能力,和EngineConnManager, EngineConn的多租户隔离能力;

统一上下文服务。统一用户和系统资源文件(JAR、ZIP、Properties等),跨用户、系统、计算引擎的参数和变量统一管理,一处设置,处处自动引用;

统一物料。系统和用户级物料管理,可分享和流转,跨用户、系统共享物料,支持全生命周期自动管理。







    全新特性



[Linkis-572] 在“Entrance”模块中新增了EngineConn管理插件。

[Linkis-576] 新增EngineConnPlugin模块,简化用户实现Linkis新计算存储引擎。

[Linkis-579] 新增EngineConn的交互式类型顶层设计,让用户实现交互式引擎更加简单容易。

[Linkis-584]新增LinkisManager Common模块,为LinkisManager提供常用工具类。

[Linkis-585]新增LinkisManager Monitor模块,用于LinkisManager实时监控EngineConn和EngineConnManager的健康状态。

[Linkis-587] 新增EngineConn Common模块,为EngineConn提供常用工具类。

[Linkis-590] 新增EngineConn的核心模块,提供了EngineConn核心接口的定义。

[Linkis-591] 新增Computation Governance Common模块,为计算治理的所有服务提供常用工具类。

[Linkis-599] 新增Linkis ResourceManager Common模块,提供常用工具类。

[Linkis-600] 新增LinkisManager Service Common模块,为AppManager和ResourceManager提供常用工具类。

[Linkis-602] 新增LinkisManager Persistence模块,用于持久化EngineConn和EngineConnManager的信息。

[Linkis-604] 新增微服务标签功能,并支持为每个微服务添加标签。

[Linkis-609] 新增Linkis Label模块,为Linkis全流程的标签化能力 提供基础支撑。

[Linkis-611] 强化Linkis的管控能力,全新抽象Linkis AppManager模块,用于管理EC和ECM的全生命周期。

[Linkis-630] 新增EngineConn Launch模块,提供EngineConn的main class入口。







    功能增强



[Linkis-569] 增强Linkis RPC的处理能力,并向下兼容Linkis0.X的 RPC。

[Linkis-574] 增强Linkis的标签管理功能,支持对EngineConnManager和EngineConn进行标签管理。

[Linkis-575] 增强ResourceManager的能力,并将其集成到LinkisManager中。

[Linkis-578] 增强EngineManager,全新定义实现EngineConnManager模块。

[Linkis-580] 增强SparkEngineConn,以适配Linkis1.0新架构。

[Linkis-583] 增强ShellEngine,以适配Linkis1.0新架构。

[Linkis-592] 增强JDBCEngine,以适配Linkis1.0新架构。

[Linkis-594] 增强IOEngine,以适配Linkis1.0新架构。

[Linkis-596] 增强HiveEngine,以适配Linkis1.0新架构。

[Linkis-597] 增强PipelineEngine,以适配Linkis1.0新架构。

[Linkis-606] 拆分Linkis0.X的EngineReceiver为多种Service,封装到Executor模块。

[Linkis-608] 增强Linkis启动和关闭服务的脚本,优化启动步骤。

[Linkis-618] 增强PublicService和ContextService模块,以适配Linkis1.0新架构。

[Linkis-638] 增强Linkis Common的加密功能。

[Linkis-643] 增强DataSource模块,以适配Linkis1.0新架构。

[Linkis-645] 增强Linkis Hadoop模块,使Linkis支持多套Hadoop 集群。

[Linkis-648] 增强Linkis httpclient模块以支持PUT和Delete请求。

[Linkis-650] 优化Linkis mybatis模块,以与mybatis-plus集成。

[Linkis-652] 增强Linkis protocol模块,以适配Linkis1.0新架构。

[Linkis-654] 增强Linkis Gateway模块,支持通过标签路由转发前端请求。

[Linkis-655] 增强Linkis JobHistory模块,支持缓存Job的结果集,强化Job标签的管理功能。

[Linkis-656] 优化Linkis RPC模块序列化器的底层实现。

[Linkis-660] 增强Linkis Scheduler模块,支持自动清除空闲的Consumer。

[Linkis-662] 增强Linkis user control模块,以适配Linkis1.0新架构。

[Linkis-663] 增强Linkis Entrance模块,以适配Linkis1.0新架构。

[Linkis-666] 优化目录层次结构并删除无用的目录。

[Linkis-668] 增强Linkis storage模块,以支持viewFS和多hadoop集群。

[Linkis-674] 增强PythonEngineConn,以适配Linkis1.0新架构。

[Linkis-675] 优化目录,更新所有pom文件的版本信息。







    社区贡献



Linkis 1.0.0-RC1的发布与WeDataSphere社区的贡献者密不可分。他们无私奉献自己的时间,并为文档的构建、简化部署和完善用户体验提出了许多有价值的建议。没有他们的帮助,Linkis 1.0.0-RC1不能如此顺利地发布。

谢谢社区的所有贡献者!







    升级向导



原则上,Linkis 1.0.0-RC1的所有接口都向下兼容,因此升级对上层应用无感。

作为计算中间件,除了PublicService的用户配置数据外,Linkis数据库中的其他数据无需迁移。

有关PublicService用户配置数据的迁移,请参阅Linkis Wiki:Linkis1.0.0-RC1升级文档



WeDataSphereBIG DATA MADE EASY.

~~


 : WeDataSphere

GitHubWeDataSphere

GitHubstarfork~~



本文分享自微信公众号 - WeDataSphere(gh_273e85fce73b)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部