Apache Linkis1.4.0 适配 FusionInsight_MRS_820 实战教程

07/16 14:53
阅读数 58

一、华为集群(带Kerberos认证)与开源的主要区别

1、版本不同

2、Hive元数据数据库不同

3、Yarn的请求方式不同


二、主要问题解决

1、连接Hive元数据需要进行以下代码修改

(1)修改文件:HiveMetaDao.xml,去 ` 斜单引号,使用ctrl+r将所有的 ` 替换为空


(2)修改类DataSourceUtils,添加postgre驱动支持代码:

修改类MybatisConfiguration,修改后代码如下:


(3)修改类HiveEngineConnFactory,为了顺利使用hive引擎需要添加hivematestore-site.xml,修改后代码如下:


(4)修改类DataSourceServiceImpl,更改数据类型:


2、适配yarn的资源申请

(1)添加Https支持,修改类RequestKerberosUrlUtils,修改后的代码如下:


(2)Mrs集群的yarn的请求地址及调度方式与开源不同,需要修改类YarnResourceRequester,主要修改后代码如下


三、部署编译方式

1、编译改动模块+手动替换jar包

如果你已经安装linkis官网部署了,只是有的功能报错,就可以使用这种方式,大概步骤为,根据修改的代码所在的模块进行单独编译,然后替换原来的jar包,然后将mrs集群的jar包替换开源的jar包,大概包括hive+hdfs+spark这些相关的jar包。


2、整体编译+从头部署

如果你还没部署可以用这种方式先整体编译在根据官网教程部署,先根据上面修改代码,然后修改根目录下的pom文件,将更改hive和hadoop版本:<hive.version>3.1.0-h0.cbu.mrs.320.r11</hive.version>,<hadoop.version>3.3.1-h0.cbu.mrs.320.r11</hadoop.version>,

spark版本不用修改也没影响,修改后我这边下载不成功。添加华为仓库

<!-- huawei jar download -->
<repository> <releases> <enabled>true</enabled> </releases> <snapshots> <enabled>true</enabled> </snapshots> <id>huaweicloudsdk</id> <url>https://mirrors.huaweicloud.com/repository/maven/huaweicloudsdk/</url></repository>

然后按照官网教程编译安装就可以了。



如何成为社区贡献者

 官方文档贡献。发现文档的不足、优化文档,持续更新文档等方式参与社区贡献。通过文档贡献,让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略:保姆级教程:如何成为Apache Linkis文档贡献者


 代码贡献。我们梳理了社区中简单并且容易入门的的任务,非常适合新人做代码贡献。请查阅新手任务列表:https://github.com/apache/incubator-linkis/issues/1161


 内容贡献:发布WeDataSphere开源组件相关的内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。例如:


 社区答疑:积极在社区中进行答疑、分享技术、帮助开发者解决问题等;


 其他:积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等;


本文分享自微信公众号 - WeDataSphere(gh_273e85fce73b)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
0
分享
返回顶部
顶部