爱悠闲 > 分布式计算入门与简介

分布式计算入门与简介

分类: 业界历史与前沿  |  标签: 分布式计算,mapreduce,云计算  |  作者: trochiluses 相关  |  发布日期 : 2013-09-21  |  热度 : 274°

1.什么是分布式计算

在计算机科学中,分布式计算(英语:Distributed computing,又译为分散式计算)这个研究领域,主要研究分散系统(Distributed system)如何进行计算。分散系统是一组电子计算机(computer),通过计算机网络相互链接与通信后形成的系统。把需要进行大量计算的工程数据分区成小块,由多台计算机分别计算,在上传运算结果后,将结果统一合并得出数据结论的科学。


2.分布式计算和云计算的区别和联系


云计算在目前是一个更加宽泛的概念,包括计算本身、服务形式等内容。通常情况下,我们提到云计算,指的是一种计算、存储、软件等服务的交互和使用模式。分布式计算,更多的是指一种计算模式,更倾向于一种计算模式,而不是一种服务形式,它是云计算的技术基础。


3.分布式计算有哪些相关的理论和技术


3.1)分布式计算的核心问题:

从理论层面,这里有两个需要解决的问题:如何将一个复杂的任务分解(毕竟,任务之间并不是完全独立的,如何同步和互斥?),如何整合?既然需要整合计算资源,来利用若干计算节点实现规模宏大的计算。这里需要解决的两大技术难题就是计算的分解(map)和聚合(reduce)



3.2)分布式计算目前有哪些模型和技术?
谷歌三大宝中的两大宝都和分布式计算有直接的关系,mapreduce和GFS,我们稍后会研究一下mapreduce。
mapreduce的原始论文:http://dl.acm.org/citation.cfm?id=1327492


4.分布式计算的好处


充分利用广大计算机的闲置计算能力,减少对超级计算机的需求,同时超级计算机的设计也必然会遇到相关瓶颈


5.分布式计算实现原型与应用场景


分布式计算目前有一个开源架构hadoop,它是基于mapreduce和hdfs来设计的。目前,分布式计算的一个主要应用场景是海量数据挖掘与日志分析。