一、华为集群(带Kerberos认证)与开源的主要区别
1、版本不同
2、Hive元数据数据库不同
3、Yarn的请求方式不同
二、主要问题解决
1、连接Hive元数据需要进行以下代码修改
(1)修改文件:HiveMetaDao.xml,去 ` 斜单引号,使用ctrl+r将所有的 ` 替换为空
(2)修改类DataSourceUtils,添加postgre驱动支持代码:
修改类MybatisConfiguration,修改后代码如下:
(3)修改类HiveEngineConnFactory,为了顺利使用hive引擎需要添加hivematestore-site.xml,修改后代码如下:
(4)修改类DataSourceServiceImpl,更改数据类型:
2、适配yarn的资源申请
(1)添加Https支持,修改类RequestKerberosUrlUtils,修改后的代码如下:
(2)Mrs集群的yarn的请求地址及调度方式与开源不同,需要修改类YarnResourceRequester,主要修改后代码如下
三、部署编译方式
1、编译改动模块+手动替换jar包
如果你已经安装linkis官网部署了,只是有的功能报错,就可以使用这种方式,大概步骤为,根据修改的代码所在的模块进行单独编译,然后替换原来的jar包,然后将mrs集群的jar包替换开源的jar包,大概包括hive+hdfs+spark这些相关的jar包。
2、整体编译+从头部署
如果你还没部署可以用这种方式先整体编译在根据官网教程部署,先根据上面修改代码,然后修改根目录下的pom文件,将更改hive和hadoop版本:<hive.version>3.1.0-h0.cbu.mrs.320.r11</hive.version>,<hadoop.version>3.3.1-h0.cbu.mrs.320.r11</hadoop.version>,
spark版本不用修改也没影响,修改后我这边下载不成功。添加华为仓库
<!-- huawei jar download -->
<repository>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
</snapshots>
<id>huaweicloudsdk</id>
<url>https://mirrors.huaweicloud.com/repository/maven/huaweicloudsdk/</url>
</repository>
然后按照官网教程编译安装就可以了。
如何成为社区贡献者
1 ► 官方文档贡献。发现文档的不足、优化文档,持续更新文档等方式参与社区贡献。通过文档贡献,让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略:保姆级教程:如何成为Apache Linkis文档贡献者
2 ► 代码贡献。我们梳理了社区中简单并且容易入门的的任务,非常适合新人做代码贡献。请查阅新手任务列表:https://github.com/apache/incubator-linkis/issues/1161
3 ► 内容贡献:发布WeDataSphere开源组件相关的内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。例如:
4 ► 社区答疑:积极在社区中进行答疑、分享技术、帮助开发者解决问题等;
5 ► 其他:积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等;
本文分享自微信公众号 - WeDataSphere(gh_273e85fce73b)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。