文档章节

java.io.IOException: Illegal partition for 26 (-1)

天天顺利
 天天顺利
发布于 2014/08/01 15:41
字数 203
阅读 98
收藏 0

    14/08/01 15:21:03 INFO mapred.JobClient: Task Id : attempt_201408011020_0012_m_000002_0, Status : FAILED
java.io.IOException: Illegal partition for 26 (-1)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.collect(MapTask.java:1078)
    at org.apache.hadoop.mapred.MapTask$NewOutputCollector.write(MapTask.java:690)
    at org.apache.hadoop.mapreduce.TaskInputOutputContext.write(TaskInputOutputContext.java:80)
    at com.hadoop.examples.Sort$Map.map(Sort.java:32)
    at com.hadoop.examples.Sort$Map.map(Sort.java:1)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:364)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)


   /**
     * 自定义Partition函数,此函数根据输入数据的最大值和MapReduce框架中
     * Partition的数量获取将输入数据安装大小分块的边界,然后根据输入数据和边界的关系
     * 返回对象Partition ID
     */
    public static class Partition extends Partitioner<IntWritable, IntWritable>
    {
        @Override
        public int getPartition(IntWritable key, IntWritable value, int numPartitions)
        {
            int maxNumber = 65223;
            int bound = maxNumber / numPartitions + 1;
            int keyNumber = key.get();
            for(int i = 0; i < numPartitions; i++)
            {
                if(keyNumber < bound * i && keyNumber >= bound * (i - 1))
                {
                    return i - 1;
                }
            }
//            return 0;
            return -1;
        }
    }

© 著作权归作者所有

天天顺利
粉丝 46
博文 167
码字总数 73007
作品 0
海淀
技术主管
私信 提问
【故障处理】imp-00051,imp-00008

【故障处理】imp-00051,imp-00008 1.1 BLOG文档结构图 1.2 故障分析及解决过程 imp导入报错: IMP-00051: Direct path exported dump file contains illegal column length IMP-00008: unre......

lhrbest
2017/01/08
0
0
求教xml格式文件的转换?

REGISTER_DATE 2015-03-26 00:00:00.0 CASE_CODE 42000011020150039 ILLEGAL_INCOME 0 REGISTER_DATE 2015-03-25 00:00:00.0 CASE_CODE 42000011020150004 ILLEGAL_INCOME 0 如何转换成下面格......

小熊winnie
2015/08/19
90
1
hadoop向hdfs拷贝文件,出错,文件为空,错误如下

[whp@namenode hadoop-0.20.2]$ bin/hadoop dfs -put ../input in 15/05/26 15:35:39 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOExc......

nana0223
2015/05/26
562
5
kafka分区leader切换

kafka+storm构架 kafka 版本kafka_2.10-0.8.2.1,topic 副本数为2。zk版本3.4.6,storm版本apache-storm-0.9.4 近期storm消费总发现下面这样的报错:storm.kafka.FailedFetchException: Err...

heistt
2015/09/01
9.8K
2
Linux运维系统工程师系列---20

磁盘管理---分区---fdisk命令 查看分区信息: [root@server254 ~]# fdisk -l /dev/sda Disk /dev/sda: 107.4 GB, 107374182400 bytes 255 heads, 63 sectors/track, 13054 cylinders Units = ......

tuest
2015/07/01
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周日乱弹 —— 谨以此文怀念逝去的人

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 今天没歌曲 手机党少年们想听歌,请使劲儿戳(这里) 今天是周六, 刚想开始写乱弹的时候, 翻到了巴叔新建的话题上, @ 巴拉迪维:宏哥,一路...

小小编辑
今天
25
4
判断php变量是否定义,是否为空,是否为真的一览表

使用 PHP 函数对变量 $x 进行比较 表达式 gettype() empty() is_null() isset() boolean : if($x) $x = ""; string TRUE FALSE TRUE FALSE $x = null; NULL TRUE TRUE FALSE FALSE var $x; N......

Grayk
今天
19
0
服务器监控

1. 服务器监控内容有哪些? 答: 主要有服务监控 和 流量监控 2. 监控重点是? 答: 是 磁盘 和 流量,cpu是浮动的,意义不大 3. 怎样 实现 监控? 答:将 服务器 分为:监控者 和 被监管协议...

杨凯123
昨天
246
0
Apollo开发指南

一、准备工作 二、本地启动 2.1 Apollo Config Service和Apollo Admin Service 2.2 Apollo-Portal 2.3 Java样例客户端启动 2.4 .Net样例客户端启动 三、开发 3.1 Portal 实现用户登录功能 3....

Ciet
昨天
307
0
英文词汇 计算机网络中的专业英语单词及其缩写

学习计算机网络时,会阅读相关的专业文献。对于文献中经常出现的缩写形式的专业名词,做了一些积累。现于此博文中做个简单的分享,希望能对后来人有所帮助,平稳地入门计算机网络。 注:博文...

志成就
昨天
186
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部