评论管家第二期
评论管家第二期
海上明月共潮生 发表于11个月前
评论管家第二期
  • 发表于 11个月前
  • 阅读 0
  • 收藏 0
  • 点赞 0
  • 评论 0

移动开发云端新模式探索实践 >>>   

package com.movie.step;

import java.io.IOException;
import java.util.Map;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import com.movie.arith.Recommend;

/**
 * combine source data
 * 
 * @author yourkkc the matrix of user to score to movies;
 * 
 * yong hu ju zheng
 */
public class UserMatrix {

    // input collect
    public static class TheMapper extends Mapper<Object, Text, Text, Text> {

        private final static Text k = new Text();
        private final static Text v = new Text();

        @Override
        protected void map(Object key, Text value, Mapper<Object, Text, Text, Text>.Context context)
                throws IOException, InterruptedException {
            FileSplit inputSplit = (FileSplit) context.getInputSplit();
            String txtName = inputSplit.getPath().getName();
            int itemId = Integer.parseInt(txtName.substring(3, txtName.length() - 4));
            String[] token = value.toString().split(",");
            if (token.length > 1) {// like userID itemID:score:time
                k.set(Integer.parseInt(token[0]) + "");
                v.set(itemId + ":" + token[1] + ":" + token[2]);
                context.write(k, v);
            }
        }

    }

    public static class TheReduce extends Reducer<Text, Text, Text, Text> {

        private final static Text v = new Text();

        @Override
        protected void reduce(Text k, Iterable<Text> values, Reducer<Text, Text, Text, Text>.Context context)
                throws IOException, InterruptedException {

            StringBuffer sBuffer = new StringBuffer();
            for (Text value : values) {
                sBuffer.append("," + value.toString());
            }
            v.set(sBuffer.toString().replaceFirst(",", ""));// userID
                                                            // itemID:score:time,itemID:score:item
            context.write(k, v);
        }

    }
    
    
    public static class TheMapper1 extends Mapper<Object, Text, Text, Text> {

        private final static Text k = new Text();
        private final static Text v = new Text();

        @Override
        protected void map(Object key, Text value, Mapper<Object, Text, Text, Text>.Context context)
                throws IOException, InterruptedException {
            FileSplit inputSplit = (FileSplit) context.getInputSplit();
            String txtName = inputSplit.getPath().getName();
            int itemId = Integer.parseInt(txtName.substring(3, txtName.length() - 4));
            String[] token = value.toString().split(",");
            if (token.length > 1) {// like userID itemID:score:time
                k.set(Integer.parseInt(token[0]) + "");
                v.set(itemId + ":" + token[1]);
                context.write(k, v);
            }
        }

    }
    

    public static class TheReduce1 extends Reducer<Text, Text, Text, Text> {


        @Override
        protected void reduce(Text k, Iterable<Text> values, Reducer<Text, Text, Text, Text>.Context context)
                throws IOException, InterruptedException {

            StringBuffer sBuffer = new StringBuffer();
            for (Text value : values) {
                context.write(k, value);
            }
        }

    }

}
 

  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 0
博文 4
码字总数 1130
×
海上明月共潮生
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: