MapReduce工作原理（简单实例）
Map-Reduce框架的运作完全基于<key,value>对，即数据的输入是一批<key,value>对，生成的结果也是一批<key,value>对，只是有时候它们的类型不一样而已。Key和value的类由于需要支持被序列化（serialize）操作，所以它们必须要实现Writable接口，而且key的类还必须实现WritableComparable接口，使得可以让框架对数据集的执行排序操作。
一个Map-Reduce任务的执行过程以及数据输入输出的类型如下所示：
(input)<k1,v1> -> map -> <k2,v2> -> combine -> <k2,v2> -> reduce -> <k3,v3>(output)
下面通过一个的例子并结合源代码来详细说明这个过程
3.1 WordCount示例
这也是Hadoop自带的一个例子，目标是统计文本文件中单词的个数。
假设有如下的两个文本文件来运行WorkCount程序：
Hello World Bye World
Hello Hadoop GoodBye Hadoop
3.2 map数据输入
Hadoop针对文本文件缺省使用LineRecordReader类来实现读取，一行一个key/value对，key取偏移量，value为行内容。
如下是map1的输入数据：
Key1 Value1
0 Hello World Bye World
如下是map2的输入数据：
Key1 Value1
0 Hello Hadoop GoodBye Hadoop
3.3 map输出/combine输入
如下是map1的输出结果
Key2 Value2
Hello 1
World 1
Bye 1
World 1
如下是map2的输出结果
Key2 Value2
Hello 1
Hadoop 1
GoodBye 1
Hadoop 1
3.4 combine输出
Combiner类实现将相同key的值合并起来，它也是一个Reducer的实现。
如下是combine1的输出
Key2 Value2
Hello 1
World 2
Bye 1
如下是combine2的输出
Key2 Value2
Hello 1
Hadoop 2
GoodBye 1
3.5 reduce输出
Reducer类实现将相同key的值合并起来。
如下是reduce的输出
Key2 Value2
Hello 2
World 2
Bye 1
Hadoop 2
GoodBye 1
即实现了WordCount的处理
最新文章
- Angular js 之动态传数据到下一个页面和动态通过ng-click进入不同的页面
- redis 的使用 (sort set排序集合类型操作)
- BZOJ3468 : 滑雪
- 【点滴javascript】变量与作用域
- 重新想象 Windows 8 Store Apps (43) - 多线程之任务: Task 基础, 多任务并行执行, 并行运算（Parallel）
- VS为VC++添加UAC控制（VC程序默认管理员运行）
- [USACO11JAN]利润Profits
- 【JS】Intermediate9:jQuery: Other Tricks
- The BINARY and VARBINARY Types
- 为什么国外的 App 很少会有开屏广告？
- 14.7.1.2 MySQL创建用户句法
- MapReduce 原理与 Python 实践
- 【003：使用SW4STM32不进入中断的原因】
- 关于Vue(旅游APP)的一些总结点
- feign包名路径添加问题
- java 静态代理总结
- CDN上的缓存刷新、缓存预热是怎样的使用场景？
- # tail -f /var/log/zabbix/zabbix_agentd.log sudo: sorry, you must have a tty to run sudo
- 【wireshark】抓包和文件格式支持
- awk备忘