CDH使用过程中如何避免各种无谓的错误?

原创
2017/02/21 15:18
阅读数 36
  1. 首先要注意环境变量,特别是java_home hadoop生态圈,对java的版本是有要求的,但是系统可能会提供多个不同版本的java,所以在执行hadoop相关命令时,务必设置好java_home,这样可以避免很多无谓的错误,而且这些错误往往不告诉你,是你的java版本太低。

  2. 其次要注意应用组件的版本。 如果是采用商业集成版,应用组件的版本往往不是最新。例如CDH 5.10是Cloudera 2017年初推出的版本,配套的Spark版本才是1.6.0,而apache上的版本已经是2.1了。如果按照2.1的文档去验证,自然会报一堆莫明其妙的错误。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部