每个reduce 需要向很多个map 任务节点取得落在其卖力的key 区间内的中间功效， 用户自界说的reduce函数接收key和相关的value集合，下面简单介绍一下基于Hadoop进行漫衍式并发编程的相关常识： Hadoop上的并行应用措施开发是基于MapReduce编程框架的，注意。www-4444kk-com

然后这些中间功效又由大量的节点归并，它们会并行运行， 8. 任务管道 有 R 个 reduce 任务，并卖力监控任务的运行环境，这样就可以处理惩罚无法全部放入内存中的大量的value值集合了，MapReduce措施的详细流程、编程接口、措施实例等请参见后头章节，就由哪台计算机进行这部分数据的计算，即支持漫衍式处理惩罚的软件系统，计算节点可以很方便地扩充，美国加利福尼亚大学尔湾分校(University of California，注意这 M 个map 任务漫衍于 N 台计算机上，凡是我们通过一个迭代器把中间的value值提供给reduce 函数，下图也指出了MapReduce框架下并行措施中的三个主要函数：map、reduce、main，每个(或若干个)数据集别离由集群中的一个节点(一般就是一台普通的计算机)进行处理惩罚并生成中间功效， JobTracker 将 map 任务和 reduce 任务分发给空闲的 TaskTracker，中间功效文件的位置会通知主控 JobTracker，MapReduce库的用户用两个函数来表达这个计算：Map和Reduce，可想而知， 用户自界说的map函数接收一个输入的key/value 对，可以简化 Reduce 的历程。www-4444kk-com

形成一个最终的功效文件，这也就形成了任务管道，但是由于数据需要在差此外计算机之间流动，它是在通信网络互联的多处理惩罚机体系布局上执行任务的。

以文件形式存于本地磁盘上，业界把这形容为移动计算比移动数据更经济。

Hadoop中的漫衍式文件系统HDFS能够实现数据在计算机集群构成的云上高效的存储和打点，JobTracker 可以运行于集群中的任意一台计算机上。

开始另一个并行计算任务， 4. 任务粒度 把原始大数据集切割成小数据集时，然后通报给reduce函数。

每个节点均是一台普通的计算机，JobTracker 再通知 reduce 任务到哪一个 DataNode 上去取中间功效，以及各个 DataNode 的状态等重要信息，《Hadoop实战》作者。

【IT168技术】我们凡是说的漫衍式系统其实是漫衍式软件系统， 2. 漫衍式并行计算 Hadoop 中有一个作为主控的 JobTracker。

也是计算节点，故网络带宽酿成了瓶颈，Combine 能够减少中间功效中 对的数目，形成一个较小的value集合，MapReduce把所有具有沟通key值的value集合在一起，以及检察文件的内容等， 5. 数据支解(Partition) 把 map 任务输出的中间功效按 key 的范畴分别成R份(R是预先界说的reduce 任务的个数)， 下图是MapReduce的数据流图，需要用户完成的事情仅仅是按照任务编写map和reduce两个函数，它所能够提供的计算能力近乎无限， ▲图 MapReduce的数据流图 MapReduce计算模型很是适合在大量计算机构成的大范围集群上并行运行，形成最终功效，它通过维护一些数据布局来记录每一个文件被切割成了几多个 Block、这些 Block 可以从哪些 DataNode 中获得，但 Combine 是作为map 任务的一部分，Hadoop中的并行编程框架MapReduce能够让用户编写的Hadoop并行应用措施运行越发简化，还可以先对中间功效进行数据归并(Combine)。

在执行完map函数后紧接着执行的，包罗漫衍式操纵系统、漫衍式措施设计语言及其编译(解释)系统、漫衍式文件系统和漫衍式数据库系统等。

TaskTracker则卖力执行任务，它实现了漫衍式文件系统和部分漫衍式数据库的成果。

在这个布局中。

JobTracker 会将其卖力的任务转交给另一个空闲的 TaskTracker 从头运行，从而降低网络流量， 7. Reduce Map 任务的中间功效在做完 Combine 和 Partition 之后，每个 Block 还可以复制数份数据存储于差此外 DataNode 上。

其运算效率是很高的，用于调治和打点其他的 TaskTracker，R个reduce 任务各自卖力一段key 区间，降低对网络带宽的需求，这样可以担保某一范畴内的 key必然是由一个 reduce 任务来处理惩罚的， 。

6. 数据归并(Combine) 在数据支解之前，这样可以减少数据在网络上的传输，每次reduce函数调用只发生0或1个输出的value值，让这些任务并行运行。

NameNode 则是整个 HDFS 的焦点，reduce函数归并这些value值，就会有 R 个最终功效。

中国人民大学副传授，Combine 的历程与reduce 的历程类似，到达容错容灾的目的，这样能够担保一个小数据集是位于一台计算机上的。

MapReduce编程模型的道理是：操作一个输入的key/value 对集合来发生一个输出的key/value 对集合，新加坡国立大学博士。

一般来说，