Hadoop MR 分区(partition)和全排序(WritableComparable)_writablecomparable排序(区内排序)-程序员宅基地

一、概念

1、分区：

Hadoop默认分区是根据key的hashCode对ReduceTask个数取模得到的，用户无法控制哪个key存储到哪个分区。

　　　想要控制哪个key存储到哪个分区，需要自定义类继承Partitioner<KEY, VALUE>，
　　　泛型KEY, VALUE分别对应Mapper里的输出key,value,因为分区是在map()之后，环形缓冲区溢写时完成的。
　　　　提示：如果ReduceTask的数量大于自定义类中重写的getPartition()设置的分区数时，会产生空的输出
　　　　		文件part-r-00000
　　　　　　　如果ReduceTask的数量小于自定义类中重写的getPartition()设置的分区数时，有一部分分区
　　　　　　　数据无处安放，就会报错
　　　　　　　如果ReduceTask的数量等于1，则不会走自定义的分区方法，系统默认分区就是1，最终只会输出
　　　　　　　一个分区文件
　　　　　　　分区号必须从0开始，逐一增加

2、全排序：

最终输出结果只有一个文件，且文件内部有序。实现方式是只设置一个ReduceTask。但该方法在处理大型文件时
效率极低，因为一台机器处理所有文件，完全丧失了MapReduce所提供的并行架构。

二、项目举例

1、待处理文本 ：data.txt

武汉市	20	男	王五
黄石市	90	男	卢洪河
武汉市	60	女	王喜
黄石市	80	男	赵存福
黄石市	50	男	陈新华
孝感市	30	女	新华源
武汉市	80	男	齐五
孝感市	80	男	齐五
孝感市	23	男	罗修运
武汉市	10	女	赵易 
武汉市	25	男	武六七
孝感市	25	男	袁灿裕
武汉市	60	男	武庚
黄石市	60	男	张永军
黄石市	60	男	吴理阳
孝感市	33	男	邓喜潮
孝感市	30	男	廖相俭
武汉市	45	女	赵琪
武汉市	55	女	李真
孝感市	30	男	蒋结万
黄石市	50	男	刘志斌
武汉市	45	男	李志
孝感市	5	男	袁帅
武汉市	70	女	赵雅
孝感市	40	男	张军
黄石市	60	男	吴扬
武汉市	55	女	真贾
孝感市	30	男	蒋一万

2、需求：

分别统计出各市感染人员信息，输出到对应文件中（说明：武汉的人员信息统一输出到一个文件，十堰的人员信息
统一输出到一个文件），
　　　　输出结果按照感染人员的年龄做倒叙排列。输出结果举例：
　　　　地区 姓名 年龄 性别  
　　　  武汉  张三  70   女
	   武汉  李四   50   男
　　　  武汉  王五   60   女 
　　　  武汉  赵六   55   男

3、PersonBean.java

import org.apache.hadoop.io.WritableComparable;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

public class PersonBean implements WritableComparable<PersonBean> {
   
    
    private String area; // 感染地区
    private String name; // 感染姓名
    private Integer age; // 感染年龄
    private String sex; // 感染性别

    public PersonBean() {
   
    
    }

    @Override
    public String toString() {
   
    
        return area + "\t" + name + "\t" + age + "\t" + sex;
    }

    public String getArea() {
   
    
        return area;
    }

    public void setArea(String area) {
   
    
        this.area = area;
    }

    public String getName() {
   
    
        return name;
    }

    public void setName(String name) {
   
    
        this.name = name;

本文链接：https://blog.csdn.net/weixin_46122692/article/details/109138875

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

尤瓦尔·赫拉利不懂人工智能？_专访尤瓦尔赫拉利-程序员宅基地

文章浏览阅读822次。https://www.toutiao.com/a6684036824584684044/2019-04-26 11:16:36如果您也想和尤瓦尔·赫拉利探讨人工智能、人类历史、机器算法等议题，欢迎留言。美国时间2019年4月22日，人工智能理论家尤瓦尔·赫拉利和计算机科学教授李飞飞博士，展开了一场【人工智能巨变和人工智能的人性化】的硬核对话，并揭示了人工智能技术快速..._专访尤瓦尔赫拉利

xpath之string(.)方法-程序员宅基地

文章浏览阅读4.7k次，点赞2次，收藏8次。from lxml import etreehtml = ''' <li class="tag_1">需要的内容1 <a>需要的内容2</a> </li>'''selector = etree.HTML(html )contents = selector.xpath ( '//li[@class = ..._xpath('string(.)')

股指期货对冲策略_方差最小目标化股指期货的最优对冲-程序员宅基地

文章浏览阅读2.1k次。Alpha 对冲背景作为普通的投资者，大部分投资者都会选择基金这一投资渠道。而面对眼花缭乱的基金产品，投资者如何选择出符合自己风险偏好的基金就显得十分重要。这一选择的过程可能就需要我们对基金产品做一个绩效评价，选出其中表现最好的作为我们的投资组合。而最常见的三个评价标准有下述三个：1、夏普 (Sharpe) 指数：美国经济学家威廉•夏普于 1966 年发表《共同基金的业绩》一文，提出用基金承担单位总风险（包括系统风险和非系统风险）所带来的超额收益来衡量基金业绩，这就是夏普指数。夏普指数通过一定评价_方差最小目标化股指期货的最优对冲

linux获取网卡名称_linux如何知道socket套接字连接的网卡名称-程序员宅基地

文章浏览阅读4.7k次。#include <stdio.h>#include <stdlib.h>#include <unistd.h>#include <sys/socket.h>#include <netinet/in.h>#include <string.h>#include <net/if.h>#include &a_linux如何知道socket套接字连接的网卡名称

matlab怎么载入视频,怎样将视频导入matlab啊-程序员宅基地

文章浏览阅读2.3k次。1、用matlab读取avi 视频(只能读一定压缩各式的avi 电影，这是因为avi视频文件的编码有很多，而matlab只支持部分编码格式。可见http://blog.csdn.net/IdoIwill/article/details/2125838) aviinfo('d:\abc.avi');%显示存在d 盘文件abc.avi 的信息,在matlab2010 版本中，该函数可以换成mmread..._matlab怎么导入视频文件

kali更新apt-get upgrade报错_kali docker安装apt-update报错-程序员宅基地

文章浏览阅读419次。在kali中安装docker时，一直报错，在执行更新apt-upgrade时报错，报错内容如下。报错信息中很明显的一个报错信息就是数字签名校验失败。_kali docker安装apt-update报错