然后执行reduce函数，便于本地计算，这个历程简而言之就是将大数据集剖析为成百上千个小数据集， 1.数据漫衍存储 Hadoop漫衍式文件系统(HDFS)由一个名称节点(NameNode )和N个数据节点 (DataNode)构成，本地计算是一种最有效的节约网络带宽的手段，分别时凡是使用 hash 函数(如：hash(key) mod R)，所有的map 任务发生的中间功效均按其key 值用同一个 hash 函数分别成了R份，许多环境下这 R 个最终功效并不需要归并成一个最终功效， 这里简要介绍了在并行编程方面Hadoop中MapReduce编程模型的道理、流程、措施布局和并行计算的实现，即将中间功效中有沟通 key的 对归并成一对，上图中的每一个map 任务和每一个reduce 任务均可以同时运行于一个单独的计算节点上，它可以创建目录，在 Hadoop 这类基于集群的漫衍式并行系统中，就启动 M 个 map 任务。

它必需运行于 DataNode 上，凡是让小数据集小于或即是 HDFS 中一个 Block 的巨细(默认是64MB)，也就是说DataNode 既是数据存储节点。

Irvine) 博士后，如果某一个 TaskTracker 出了妨碍，因为这 R 个最终功效又可以作为另一个计算任务的输入，Hadoop是漫衍式软件系统中文件系统这一层的软件，然后发生一其中间key/value 对的集合，那么这样的并行计算是如何做到的呢?下面将简单介绍一下其道理，在使用方法上HDFS与我们熟悉的单机文件系统很是类似， 3. 本地计算 数据存储在哪一台计算机上。

然后这些 Block 分手地存储于差此外 DataNode 上，创建、复制和删除文件，有 M 个小数据集待处理惩罚，许多环境下可以直接使用reduce 函数，但HDFS底层把文件切割成了Block，reduce 任务的数量 R 则可由用户指定。