文档章节

hadoop错误总结

蓝狐乐队
 蓝狐乐队
发布于 2014/02/20 10:01
字数 593
阅读 67
收藏 0
 
1、在重新编译hadoop后可能会造成版本不一致的现象。 
 最近几个星期一直在修改Hadoop的计算能力调度算法,遇到了这样那样的问题。 我修改的版本是hadoop-0.20.2 第一步: 将hadoop的源码加载到eclipse中配置使用ant编译 第二步: 根据需要修改源码 第三步: 使用ant编译修改内容,这里要提醒的就是要保证编译平台的JDK和运行平台的JDK相同 ant编译的方法是:首先到$HadoopHome/src/contrib/capacity-scheduler目录下 直接输入ant就可以编译,编译成功后会提示生产的JAR文件在$HadoopHome/build/contrib/capacity-scheduler 中。 重要的是如果修改了capacity-scheduler外的其他内容(主要在MapReduce中)也需要将修改后的整个Hadoop编译 而且要在编译capacity-scheduler之前进行编译。编译整个hadoop会在build文件夹下看到hadoop-0.20.2-dev-capacity-scheduler.jar 第四步: 将hadoop-0.20.2-dev-capacity-scheduler.jar重命名为hadoop-0.20.2-capacity-scheduler.jar 以及将hadoop-${version}-capacity-scheduler.jar重新名为hadoop-0.20.2-capacity-scheduler.jar 覆盖集群中响应的JAR重新启动集群就可以了以上是成功的步骤,但是在整个过程中总会出现错误,下面具体分析一下我遇到的错误: 我是在windows 下编译的在Ubuntu中搭建的集群,开始的时候两个平台的JDK不一致, 导致了:java.lang.UnsupportedClassVersionError 的错误 所以要保证JDK一致 有时候会遇到org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible build versions: namenode BV = ; datanode BV = 911707 这个错误的原因是因为datanode的版本和NameNode的版本不一致。我将生成的hadoop-0.20.2-dev-capacity-scheduler.jar重命名后覆盖到DataNode的$HadoopHome 中
2、获取年最大温度值
  
 public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ 
     public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
      String line = value.toString();
      String year = line.substring(15, 19);
      int tmp;
      if(line.charAt(25)=='+'){
       tmp = Integer.parseInt(line.substring(26,30));
       System.out.println(tmp);
      }else{
       tmp = Integer.parseInt(line.substring(25,30));
       System.out.println(line.substring(25, 30));
      }
      context.write(new Text(year), new IntWritable(tmp));
     }
   }
   
   public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
    
     public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
      int maxValue = 0;
      while(values.iterator().hasNext()){
       maxValue = Math.max(maxValue, values.iterator().next().get());       
      } 
       context.write(key, new IntWritable(maxValue));
     }
   } 
异常: java.lang.StringIndexOutOfBoundsException: String index out of range: 19
 at java.lang.String.substring(String.java:1907)
 at com.zzg.test.GetMaxTemp$TokenizerMapper.map(GetMaxTemp.java:21)
 at com.zzg.test.GetMaxTemp$TokenizerMapper.map(GetMaxTemp.java:1)
 at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)
 at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)
 at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
 at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:212)
这个异常原因是因为数据文件中有空行。

本文转载自:

蓝狐乐队
粉丝 107
博文 325
码字总数 94335
作品 0
昌平
程序员
私信 提问
零基础学习hadoop到上手工作线路指导(中级篇)

此篇是在零基础学习hadoop到上手工作线路指导(初级篇)的基础,一个继续总结。 五一假期:在写点内容,也算是总结。上面我们会了基本的编程,我们需要对hadoop有一个更深的理解: hadoop分为...

一枚Sir
2014/08/07
157
0
Linux无密码登陆实验&理解

1、生成认证文件 [hadoop@Salve2 bin]$ whoami hadoop [hadoop@Salve2 bin]$ ssh-keygen -t rsa [hadoop@Salve2 bin]$ ll /home/hadoop/.ssh/ 总用量 16 -rw-------. 1 hadoop hadoop 402 1......

P&H
2013/12/12
74
0
CentOS 64位系统进行Hadoop2.3.0本地编译及完全分布式集群的部署

本文是在小编的博文《 基于Hadoop1.2.1完全分布式集群的部署 》的基础上写作的,所有硬件环境跟之前博文的硬件环境一模一样,因此本文不想再这方面费过多的口舌,关于hosts配置、JDK的安装和...

灯下黑鬼吹灯
2016/11/28
107
0
hadoop hbase维护问题总结

1 pid不存在的问题 hadoop停止集群时,报错如下所示: no namenode to stop no datanode to stop no secondery namenode to stop no resourcemanager to stop no nodemanager to stop 造成h......

xuesong13
2014/11/22
3.9K
0
腾讯云大数据套件Hermes-MR索引插件使用总结

版权声明:本文由王亮原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/121 来源:腾云阁 https://www.qcloud.com/community Hermes是多维分析利器,使用...

偶素浅小浅
2016/11/04
66
0

没有更多内容

加载失败,请刷新页面

加载更多

新海软件邮政市场监管综合信息平台

二、系统功能 该平台包括邮政普遍服务管理、快递管理两大系统,涵盖了地图定位、普服信息、快递信息、GIS管理、网格管理、视频监控、数据分析(BI)、系统设置等八大模块,全面反映了区域邮政...

neocean
昨天
177
0
【微记忆】用户隐私政策与条款

微记忆尊重并保护所有注册用户的个人隐私权。为了给您提供更准确、更贴心的服务,微记忆会按照本隐私权政策的规定储存并使用您的个人信息。微记忆承诺将以高度严格的审慎义务对待这些信息。除...

微记忆
昨天
101
0
两周自制脚本语言-第7天 添加函数功能

第7天 添加函数功能 基本的函数定义与调用执行、引入闭包使Stone语言可以将变量赋值为函数,或将函数作为参数传递给其他函数 有些函数将有返回值的归为函数,没有返回值的归为子程序 7.1 扩充...

果汁分你一半
昨天
139
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部