分享

java编写MapReduce

 彧lljb1zbsmint 2018-05-28
很多人不会使用java编写MapReduce,今天给大家分享下

1、创建一个类为WordMap需要继承org.apache.hadoop.mapreduce.Mapper类,该类有四个泛型(in key类型,in value类型,out key类型,out value类型)

Long(偏移量)一般不会使用

in value类型,表示是一行的内容(string)

out key 类型,String

out value类型int

如果使用以下类型,在处理时会报错

public class WordMap extends Mapper<Long,String,String,Integer>

LongWritable  对应long

Text对应String

IntWritable 对应Integer

1map类中需要进

 
  
 
 
 最后,感谢科多大数据的武老师提供的帮助,感谢,希望对大家有帮助

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多