欢迎访问wabc.cc — 源码交易 · 软件定制 · 建站服务一站式平台
全部分类
首页 - 首页 - 解决方案 - 推荐文章 - MapReduce 范式

MapReduce 范式

分类:推荐文章 · 发布:2025-12-20 · 浏览:1

  什么是MapReduce

  Map和Reduce源自于Functional Language

  


  map是一种顺序且独立处理集合中每个元素的元函数

  reduce是分批处理集合元素的元函数

  Example : Word Count

  我们以以下文档作为样例

  Map阶段

  Map任务会对每个record产生一个键值对(key/value pair)。

  例如,(Welcome, 1) 这意味着曾经遇到过Welcome这个词

  这些record可以相互独立地处理。

  


  在这个例子中只有一个Map任务,所以它按顺序处理这些record。

  当数据量特别巨大时候,这个过程很容易被中断。

  


  需要对输入数据集进行分片或拆分,分配给每个镜像或每个独立的Map任务, 并产生输出

  


  Reduce

  Reduce基于每个键合并、处理中间结果

  


  每条记录会根据key的不同,被分配给不同的Reduce任务。通常会使用Hash paritioning算法来分配key。Reduce任务根据分配到的key并行地处理、合并中间值。



上一篇:星空交易所系统开发
下一篇:国内电磁铁品牌兰达电磁铁受邀参加裕民社区篮球比赛

相关文章

源码分类

热门源码

最新资讯

联系我们