82
MapReduce并行编程模式的应用与研究.pdf
摘要摘要当前,科学与工程计算中大规模数据处理的需求与日俱增。与此同时,高性能并行机的发展和硬件价格的下降使得高性能机器得到了广泛推广,与之相伴的是各种并行编程模式和并行编程语言的纷纷出现,并行计算的发
79
MapReduce并行编程模式的应用与研究(论文).pdf
当前,科学与工程计算中大规模数据处理的需求与日俱增。与此同时,高
性能并行机的发展和硬件价格的下降使得高性能机器得到了广泛推广,与之相
伴的是各种并行编程模式和并行编程语言的纷纷出现,并行计算的发展为各学
科带来福音的同时也带来了一系列的问题。并行机体系结构以及并行编程语言
和模式的多样性为并行应用的开发带来了极大的困难,增加了普通程序员的编
程难度。因此,简化并行编程,提高并行程序开发效率就成为了一个关键的问
题。
很多并行编程模型和语言抽象层次太低,导致程序员要关心很多底层实现
细节。而MapReduce模式具有高层次的抽象,在MapReduce运行时系统的支
持下程序员只需要关注对具体数据的处理,以及数据相关性的处理,极大的降
低了并行程序的开发难度。但是除了网络搜索领域外,如何使用MapReduce对
其它领域(尤其是数值计算领域)的具体应用进行设计与分析还没有系统、详
细的研究和阐述。为此,本文围绕这些环节展开研究工作,具体研究工作与成
果如下:
第一,研究了并行算法空间中由任务组织、由数据分解组织和由数据流组
织这几种并行问题组织原则与MapReduce模式的关系,综合MapReduce模式
以及几种原则的特性,给出了如何用MapReduce对这几种不同原则描述的问题
进行表述。
第二,将任务分解、分治策路、流水线等并行问题分析模式与MapReduce
模式相结合,用MapReduce来描述这些并行模型,并且对每个模式中出现的典
型应用或算法进行分析。并通过对MapReduce在这些模式上的应用和对具体应
用的分析,给出了使用MapReduce模式分析问题的步骤及方法。
第三,提出了在用MapReduce模式解决问题时所用到的关键数据结构,一
方面是输入数据的表示,其中包括输入数据和输入数据的特征,并结合矩阵数
据划分的分析过程,给出了数据结构的设计要点和方法。另一方面,分析了key
值的作用,研究了key值与MPI中通信模式的关系,给出了选择和设计key值
的原则。
第四
  • SHU
  • 热度:
  • 2
185
windows编程模式.ppt
本文档是个PPT文档,是一个关于windows环境下的编程原理的课件,内容包括WINDOWS操作系统介绍、WINDOWS编程模式、线程与进程、资源共享等。
3
LabVIEW+编程模式.pdf
LabVIEW+编程模式: ...
9
数据流编程模式-KC10131108-c01..ppt
数据流编程模式-KC10131108-c01.
9
微信小程序的编程模式.doc
微信小程序的编程模式微信小程序的编程模式微信小程序的编程模式
34
多核技术下的并行编程模式.pdf
多核技术下的并行编程模式多核技术下的并行编程模式多核技术下的并行编程模式
68
MQ编程模式(中文) chapter 3.pdf
MQ编程模式(中文) chapter 3MQ编程模式(中文) chapter 3MQ编程模式(中文) chapter 3
15
有关"Windows编程模式"的中英文翻译.doc
有关“Windows编程模式”的中英文翻译有关“Windows编程模式”的中英文翻译有关“Windows编程模式”的中英文翻译

向豆丁求助:有没有编程模式?