当前位置:首页 » 论文素材 » 分布式论文

分布式论文

发布时间: 2021-03-23 02:30:29

❶ 求帮助写一篇分布式计算云计算论文

http://wenku..com/view/6ea1435d3b3567ec102d8ae8.html 这个链接你看是不是提纲式的

浅谈云计算
摘要
云计算是当前计算机领域的一个热点。它的出现宣告了低成本提供超级计算时代的到来。云计算将改变人们获取信息、分享内容和互相沟通的方式。此文阐述了云计算的简史、概念、特点、现状、保护、应用和发展前景,并对云计算的发展及前景进行了分析。

关键词: 云计算特点, 云计算保护, 云计算应用

.1云计算简史
著名的美国计算机科学家、 图灵奖 (Turing Award) 得主麦卡锡 (John McCarthy,1927-) 在半个世纪前就曾思考过这个问题。 1961 年, 他在麻省理工学院 (MIT) 的百年纪念活动中做了一个演讲。 在那次演讲中, 他提出了象使用其它资源一样使用计算资源的想法,这就是时下 IT 界的时髦术语 “云计算” (Cloud Computing) 的核心想法。云计算中的这个 “云” 字虽然是后人所用的词汇, 但却颇有历史渊源。 早年的电信技术人员在画电话网络的示意图时, 一涉及到不必交待细节的部分, 就会画一团 “云” 来搪塞。 计算机网络的技术人员将这一偷懒的传统发扬光大, 就成为了云计算中的这个 “云” 字, 它泛指互联网上的某些 “云深不知处” 的部分, 是云计算中 “计算” 的实现场所。 而云计算中的这个 “计算” 也是泛指, 它几乎涵盖了计算机所能提供的一切资源。麦卡锡的这种想法在提出之初曾经风靡过一阵, 但真正的实现却是在互联网日益普及的上世纪末。 这其中一家具有先驱意义的公司是甲骨文 (Oracle) 前执行官贝尼奥夫 (Marc Benioff, 1964-) 创立的 Salesforce 公司。 1999 年, 这家公司开始将一种客户关系管理软件作为服务提供给用户, 很多用户在使用这项服务后提出了购买软件的意向, 该公司却死活不干, 坚持只作为服务提供, 这是云计算的一种典型模式, 叫做 “软件即服务” (Software as a Service, 简称 SaaS)。 这种模式的另一个例子, 是我们熟悉的网络电子邮箱 (因此读者哪怕是第一次听到 “云计算” 这个术语, 也不必有陌生感, 因为您多半已是它的老客户了)。 除了 “软件即服务” 外, 云计算还有其它几种典型模式, 比如向用户提供开发平台的 “平台即服务” (Platform as a Service, 简称 PaaS), 其典型例子是谷歌公司 (Google) 的应用程序引擎 (Google App Engine), 它能让用户创建自己的网络程序。 还有一种模式更彻底, 干脆向用户提供虚拟硬件, 叫做 “基础设施即服务” (Infrastructure as a Service, 简称 IaaS), 其典型例子是亚马逊公司 (Amazon) 的弹性计算云 (Amazon Elastic Compute Cloud, 简称 EC2), 它向用户提供虚拟主机, 用户具有管理员权限, 爱干啥就干啥, 跟使用自家机器一样。

1.2云计算的概念

狭义云计算是指计算机基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、软件)。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。

广义云计算是指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是计算机和软件、互联网相关的,也可以是其他的服务。云计算是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展,或者说是这些计算机科学概念的商业实现。云计算是虚拟化(Virtualization)、效用计算(Utility Computing)、IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等概念混合演进并跃升的结果。

1.3云计算的特点和优势
(一)超大规模性。“云”具有相当的规模,Google云计算已经拥有100多万台服务器,Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。
(二)虚拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”,而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机,就可以通过网络服务来实现用户需要的一切,甚至包括超级计算这样的任务。[2]
(三)高可靠性。“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机可靠。
(四)通用性。云计算不针对特定的应用,在“云”的支撑下可以构造出千变万化的应用,同一个“云”可以同时支撑不同的应用运行。
(五)高可扩展性。“云”的规模可以动态伸缩,满足应用和用户规模增长的需要。
(六)价格合适。由于“云”的特殊容错措施可以采用具有经济性的节点来构成“云”,“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本,“云”的通用性使资源的利用率较之传统系统大幅提升,因此用户可以充分享受“云”的低成本优势,经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。
云计算作为一种技术,与其它一些依赖互联网的技术——比如网格计算 (Grid Computing)——有一定的相似之处,但不可混为一谈。拿网格计算来说, 科学爱好者比较熟悉的例子是 SETI@Home,那是一个利用互联网上计算机的冗余计算能力搜索地外文明的计算项目,目前约有来自两百多个国家和地区的两百多万台计算机参与。它在 2009 年底的运算能力相当于当时全世界最快的超级计算机运算能力的三分之一。有些读者可能还知道另外一个例子:ZetaGrid,那是一个研究黎曼 ζ 函数零点分布的计算项目, 曾有过一万多台计算机参与 (但现在已经终止了,原因可参阅拙作 超越 ZetaGrid)。从这两个著名例子中我们可以看到网格计算的特点,那就是计算性质单一,但运算量巨大 (甚至永无尽头,比如 ZetaGrid)。而云计算的特点恰好相反,是计算性质五花八门,但运算量不大[注三],这是它们的本质区别,也是云计算能够面向大众成为服务的根本原因。云计算能够流行,它到底有什么优点呢? 我们举个例子来说明,设想你要开一家网络公司。按传统方法,你得有一大笔启动资金, 因为你要购买计算机和软件,你要租用机房,你还要雇专人来管理和维护计算机。 当你的公司运作起来时,业务总难免会时好时坏,为了在业务好的时候也能正常运转, 你的人力和硬件都要有一定的超前配置, 这也要花钱。 更要命的是, 无论硬件还是软件厂商都会频繁推出新版本, 你若不想被技术前沿抛弃, 就得花钱费力不断更新 (当然, 也别怪人家, 你的公司运作起来后没准也得这么赚别人的钱)。如果用云计算, 情况就不一样了: 计算机和软件都可以用云计算, 业务好的时候多用一点, 业务坏的时候少用一点, 费用就跟结算煤气费一样按实际用量来算, 无需任何超前配置[注四]。 一台虚拟服务器只需鼠标轻点几下就能到位, 不象实体机器, 从下定单, 到进货, 再到调试, 忙得四脚朝天不说, 起码得好几天的时间。虚拟服务器一旦不需要了, 鼠标一点就可以让它从你眼前 (以及账单里)消失。至于软硬件的升级换代,服务器的维护管理等,那都是云计算服务商的事,跟你没半毛钱的关系。更重要的是,开公司总是有风险的, 如果你试了一两个月后发现行不通,在关门大吉的时候,假如你用的是云计算,那你只需支付实际使用过的资源。假如你走的是传统路子,买了硬件、软件,雇了专人,那很多投资可就打水漂了。

1.4浅谈云计算的一个核心理念
大规模消息通信:云计算的一个核心理念就是资源和软件功能都是以服务的形式进行发布的,不同服务之间经常需要通过消息通信进行协助。由于同步消息通信的低效率,我们只考虑异步通信。如Java Message Service是J2EE平台上的一个消息通信标准,J2EE应用程序可以通过JMS来创建,发送,接收,阅读消息。异步消息通信已经成为面向服务架构中组件解耦合及业务集成的重要技术。
大规模分布式存储:分布式存储的目标是利用多台服务器的存储资源来满足单台服务器所不能满足的存储需求。分布式存储要求存储资源能够被抽象表示和统一管理,并且能够保证数据读写操作的安全性,可靠性,性能等各方面要求。下面是几个典型的分布式文件系统:
◆Frangipani是一个可伸缩性很好的高兴能分布式文件系统,采用两层的服务体系架构:底层是一个分布式存储服务,该服务能够自动管理可伸缩,高可用的虚拟磁盘;上层运行着Frangipani分布式文件系统。
◆JetFile是一个基于P2P的主播技术,支持在Internet这样的异构环境中分享文件的分布式文件系统。
◆Ceph是一个高性能并且可靠地分布式文件系统,它通过把数据和对数据的管理在最大程度上分开来获取极佳的I/O性能。
◆Google File System(GFS)是Google公司设计的可伸缩的分布式文件系统。GFS能够很好的支持大规模海量数据处理应用程序。
在云计算环境中,数据的存储和操作都是以服务的形式提供的;数据的类型多种多样;必须满足数据操作对性能,可靠性,安全性和简单性的要求。在云计算环境下的大规模分布式存储方向,BigTable是Google公司设计的用来存储海量结构化数据的分布式存储系统;Dynamo是Amazon公司设计的一种基于键值对的分布式存储系统,它能提供非常高的可用性;Amazon公司的Simple Storage Service(S3)是一个支持大规模存储多媒体这样的二进制文件的云计算存储服务;Amazon公司的SimpleDB是建立在S3和Amazon EC2之上的用来存储结构化数据的云计算服务。
许可证管理与计费:目前比较成熟的云环境计费模型是Amazon公司提供的Elastic Compute Cloud(EC2)和Simple Storage Service(S3)的按量计费模型,用户按占用的虚拟机单元,IP地址,带宽和存储空间付费。

1.5云计算的现状
云计算是个热度很高的新名词。由于它是多种技术混合演进的结果,其成熟度较高,又有大公司推动,发展极为迅速。Amazon、Google、IBM、微软和Yahoo等大公司是云计算的先行者。云计算领域的众多成功公司还包括Salesforce、Facebook、Youtube、Myspace等。Amazon使用弹性计算云(EC2)和简单存储服务(S3)为企业提供计算和存储服务。收费的服务项目包括存储服务器、带宽、CPU资源以及月租费。月租费与电话月租费类似,存储服务器、带宽按容量收费,CPU根据时长(小时)运算量收费。Amazon把云计算做成一个大生意没有花太长的时间:不到两年时间,Amazon上的注册开发人员达44万人,还有为数众多的企业级用户。有第三方统计机构提供的数据显示,Amazon与云计算相关的业务收入已达1亿美元。云计算是Amazon增长最快的业务之一。Google当数最大的云计算的使用者。Google搜索引擎就建立在分布在200多个地点、超过100万台服务器的支撑之上,这些设施的数量正在迅猛增长。Google地球、地图、Gmail、Docs等也同样使用了这些基础设施。采用Google Docs之类的应用,用户数据会保存在互联网上的某个位置,可以通过任何一个与互联网相连的系统十分便利地访问这些数据。目前,Google已经允许第三方在Google的云计算中通过Google App Engine运行大型并行应用程序。Google值得称颂的是它不保守。它早已以发表学术论文的形式公开其云计算三大法宝:GFS、MapRece和BigTable,并在美国、中国等高校开设如何进行云计算编程的课程。IBM在2007年11月推出了“改变游戏规则”的“蓝云”计算平台,为客户带来即买即用的云计算平台。它包括一系列的自动化、自我管理和自我修复的虚拟化云计算软件,使来自全球的应用可以访问分布式的大型服务器池。使得数据中心在类似于互联网的环境下运行计算。IBM正在与17个欧洲组织合作开展云计算项目。欧盟提供了1.7亿欧元做为部分资金。该计划名为RESERVOIR,以“无障碍的资源和服务虚拟化”为口号。2008年8月, IBM宣布将投资约4亿美元用于其设在北卡罗来纳州和日本东京的云计算数据中心改造。IBM计划在2009年在10个国家投资3亿美元建13个云计算中心。
微软紧跟云计算步伐,于2008年10月推出了Windows Azure操作系统。Azure(译为“蓝天”)是继Windows取代DOS之后,微软的又一次颠覆性转型——通过在互联网架构上打造新云计算平台,让Windows真正由PC延伸到“蓝天”上。微软拥有全世界数以亿计的Windows用户桌面和浏览器,现在它将它们连接到“蓝天”上。Azure的底层是微软全球基础服务系统,由遍布全球的第四代数据中心构成。
云计算的新颖之处在于它几乎可以提供无限的廉价存储和计算能力。纽约一家名为Animoto的创业企业已证明云计算的强大能力(此案例引自和讯网维维编译《纽约时报》2008年5月25日报道)。Animoto允许用户上传图片和音乐,自动生成基于网络的视频演讲稿,并且能够与好友分享。该网站目前向注册用户提供免费服务。2008年年初,网站每天用户数约为5000人。4月中旬,由于Facebook用户开始使用Animoto服务,该网站在三天内的用户数大幅上升至75万人。Animoto联合创始人Stevie Clifton表示,为了满足用户需求的上升,该公司需要将服务器能力提高100倍,但是该网站既没有资金,也没有能力建立规模如此巨大的计算能力。因此,该网站与云计算服务公司RightScale合作,设计能够在亚马逊的网云中使用的应用程序。通过这一举措,该网站大大提高了计算能力,而费用只有每服务器每小时10美分。这样的方式也加强创业企业的灵活性。当需求下降时,Animoto只需减少所使用的服务器数量就可以降低服务器支出。
在我国,云计算发展也非常迅猛。2008年5月10日,IBM在中国无锡太湖新城科教产业园建立的中国第一个云计算中心投入运营。2008年6月24日,IBM在北京IBM中国创新中心成立了第二家中国的云计算中心——IBM大中华区云计算中心;2008年11月28日,广东电子工业研究院与东莞松山湖科技产业园管委会签约,广东电子工业研究院将在东莞松山湖投资2亿元建立云计算平台;2008年12月30日,阿里巴巴集团旗下子公司阿里软件与江苏省南京市政府正式签订了2009年战略合作框架协议,计划于2009年初在南京建立国内首个“电子商务云计算中心”,首期投资额将达上亿元人民币;世纪互联推出了CloudEx产品线,包括完整的互联网主机服务"CloudEx Computing Service", 基于在线存储虚拟化的"CloudEx Storage Service",供个人及企业进行互联网云端备份的数据保全服务等等系列互联网云计算服务;中国移动研究院做云计算的探索起步较早,已经完成了云计算中心试验。中移动董事长兼CEO王建宙认为云计算和互联网的移动化是未来发展方向。
我国企业创造的“云安全”概念,在国际云计算领域独树一帜。云安全通过网状的大量客户端对网络中软件行为的异常监测,获取互联网中木马、恶意程序的最新信息,推送到服务端进行自动分析和处理,再把病毒和木马的解决方案分发到每一个客户端。云安全的策略构想是:使用者越多,每个使用者就越安全,因为如此庞大的用户群,足以覆盖互联网的每个角落,只要某个网站被挂马或某个新木马病毒出现,就会立刻被截获。云安全的发展像一阵风,瑞星、趋势、卡巴斯基、MCAFEE、SYMANTEC、江民科技、PANDA、金山、360安全卫士、卡卡上网安全助手等都推出了云安全解决方案。瑞星基于云安全策略开发的2009新品,每天拦截数百万次木马攻击,其中1月8日更是达到了765万余次。势科技云安全已经在全球建立了5大数据中心,几万部在线服务器。据悉,云安全可以支持平均每天55亿条点击查询,每天收集分析2.5亿个样本,资料库第一次命中率就可以达到99%。借助云安全,趋势科技现在每天阻断的病毒感染最高达1000万次。
值得一提的是,云安全的核心思想,与刘鹏早在2003年就提出的反垃圾邮件网格非常接近[1][2]。刘鹏当时认为,垃圾邮件泛滥而无法用技术手段很好地自动过滤,是因为所依赖的人工智能方法不是成熟技术。垃圾邮件的最大的特征是:它会将相同的内容发送给数以百万计的接收者。为此,可以建立一个分布式统计和学习平台,以大规模用户的协同计算来过滤垃圾邮件:首先,用户安装客户端,为收到的每一封邮件计算出一个唯一的“指纹”,通过比对“指纹”可以统计相似邮件的副本数,当副本数达到一定数量,就可以判定邮件是垃圾邮件;其次,由于互联网上多台计算机比一台计算机掌握的信息更多,因而可以采用分布式贝叶斯学习算法,在成百上千的客户端机器上实现协同学习过程,收集、分析并共享最新的信息。反垃圾邮件网格体现了真正的网格思想,每个加入系统的用户既是服务的对象,也是完成分布式统计功能的一个信息节点,随着系统规模的不断扩大,系统过滤垃圾邮件的准确性也会随之提高。用大规模统计方法来过滤垃圾邮件的做法比用人工智能的方法更成熟,不容易出现误判假阳性的情况,实用性很强。反垃圾邮件网格就是利用分布互联网里的千百万台主机的协同工作,来构建一道拦截垃圾邮件的“天网”。反垃圾邮件网格思想提出后,被IEEE Cluster 2003国际会议选为杰出网格项目在香港作了现场演示,在2004年网格计算国际研讨会上作了专题报告和现场演示,引起较为广泛的关注,受到了中国最大邮件服务提供商网易公司创办人丁磊等的重视。既然垃圾邮件可以如此处理,病毒、木马等亦然,这与云安全的思想就相去不远了。
2008年11月25日,中国电子学会专门成立了云计算专家委员会,聘任中国工程院院士李德毅为主任委员,聘任IBM大中华区首席技术总裁叶天正、中国电子科技集团公司第十五研究所所长刘爱民、中国工程院院士张尧学、Google全球副总裁/中国区总裁李开复、中国工程院院士倪光南、中国移动通信研究院院长黄晓庆六位专家为副主任委员,聘任国内外30多位知名专家学者为专家委员会委员。2009年5月22日,中国电子学会将于在北京中国大饭店隆重举办首届中国云计算大会。

http://wenku..com/view/6ea1435d3b3567ec102d8ae8.html

❷ c# 分布式 网站建设技术 论文

就是 要 4篇论文 楼上的这都不懂,还想回答

❸ 什么是分布式分布式目标是什么意思

分布式是一种模型结构,区别于核心式,可以从字面理解为“分布在各处”
分布式的目标是降低单个对象的重要度,从而提升整个系统的性能(稳定性,计算能力等等),不过代价是增加了数据传输量
举个例子你就明白了:
假如中国专门造了一台超级电脑,用来计算天气预报的数据,然后所有的电视台都从这台电脑获取数据,然后播放天气预报。那么这种模式就是核心式的,这台电脑处于核心位置,如果这台电脑坏了,不能工作了,那么所有电视台的天气预报都不能进行了。
现在这样设计,每个省各自出一台普通电脑,然后这些电脑联合工作,一起计算天气预报,虽然每台电脑的计算能力远没有那台超级电脑强,但是它们协同工作,即使某台或者某几台电脑坏了,计算仍然能继续(坏了的那几台的计算工作将会转移到其他电脑上)。这样就降低了每台电脑的重要程度,使得天气预报系统更加稳定,不过这些电脑之间的协调就比较复杂了。
你所说的雷达的分布式也跟这个例子差不多

❹ 基于.Net分布式论文

http://www.cnki.com.cn/Article/CJFDTotal-JSJN200803009.htm
自己去下载吧。祝你论文通过。

❺ 分布式数据库查询优化写这个论文的话有推荐的书吗

Distributed Algorithms An Intuitive Approach.
一个小节的内容就一篇论文至少。作者概括了下算法细节和给了相关举例。有人评价很高,我评价一般,结合具体论文看会效果好,不过略吃力,然而直接看也略吃力,因为作者太高度概括,不好理解,没有大部分原文教材那种怕你不懂的啰嗦的特点。所以书也就挺薄的,才200多页而已。

Distributed Systems concepts and design.
基本上分布式系统的各基本细节都涵盖了。系统级别书籍,略硬,算厚。这本我也还在磕。

Introction to Distributed Algorithms second edition.
这本是祖师爷级别的经典教材。不过我还没读过,评价略高,某些美帝高校课堂参考教材就是这本。没有读是因为网上的pdf都没有索引,所以先读上一本了。

Distributed Computing Principle, Algorithms, and Systems.
第一本算师父带入门,对分布式算法有大致框架和了解的话。这本可以有助于理解得更深。所以建议先读第一本,再这本。

Principles of Distributed Database Systems.
这本是我唯一在America Amazon找到的关于分布式数据库并且评价较高的教材。不过这本还没排上让我读的行程,不知内容如何。

❻ 题目为"一个基于中间件的大型分布式信息系统的实现" 的论文是一篇什么论文

美国计算机科学家,LaTex的作者Leslie Lamport说:“分布式系统就是这样一个系统,系统中一个你甚至都不知道的计算机出了故障,却可能导致你自己的计算机不可用。”一语道破了开发分布式系统的玄机,那就是它的复杂与不可控。所以Martin Fowler强调:分布式调用的第一原则就是不要分布式。这句话看似颇具哲理,然而就企业应用系统而言,只要整个系统在不停地演化,并有多个子系统共同存在时,这条原则就会被迫打破。盖因为在当今的企业应用系统中,很难寻找到完全不需要分布式调用的场景。Martin Fowler提出的这条原则,一方面是希望设计者能够审慎地对待分布式调用,另一方面却也是分布式系统自身存在的缺陷所致。无论是CORBA,还是EJB 2;无论是RPC平台,还是Web Service,都因为驻留在不同进程空间的分布式组件,而引入额外的复杂度,并可能对系统的效率、可靠性、可预测性等诸多方面带来负面的影响。
然而,不可否认的是在企业应用系统领域,我们总是会面对不同系统之间的通信、集成与整合,尤其当面临异构系统时,这种分布式的调用与通信变得越重要,它在架构设计中就更加凸显其价值。并且,从业务分析与架构质量的角度来讲,我们也希望在系统架构中尽可能地形成对服务的重用,通过独立运行在进程中服务的形式,彻底解除客户端与服务端的耦合。这常常是架构演化的必然道路。在我的同事陈金洲发表在InfoQ上的文章《架构腐化之谜》中,就认为可以通过“将独立的模块放入独立的进程”来解决架构因为代码规模变大而腐化的问题。
随着网络基础设施的逐步成熟,从RPC进化到Web Service,并在业界开始普遍推行SOA,再到后来的RESTful平台以及云计算中的PaaS与SaaS概念的推广,分布式架构在企业应用中开始呈现出不同的风貌,然而殊途同归,这些分布式架构的目标仍然是希望回到建造巴别塔的时代,系统之间的交流不再为不同语言与平台的隔阂而产生障碍。正如Martin Fowler在《企业集成模式》一书的序中写道:“集成之所以重要是因为相互独立的应用是没有生命力的。我们需要一种技术能将在设计时并未考虑互操作的应用集成起来,打破它们之间的隔阂,获得比单个应用更多的效益”。这或许是分布式架构存在的主要意义。

❼ 关于分布式能源的外文和翻译 文献翻译 毕业论文

分布式能源系统究竟如何定义,现在有两种理解:一是靠近用户的小型发电或蓄电系统;另一种是利用天然气作燃料的冷热电联产12万~40万千瓦的大机组。笔者认为,既然称为分布式能源系统应当是第一种理解,第二种只能称为冷热电联产系统,不是分布式能源系统,只有小型的冷热电联产系统可以称为分布式能源系统。

能源辞典关于分布式能源是这样说的:“靠近用户的小型发电或蓄电系统。它可以大大减少输送、分配成本,联产达到很高的效率,减少CO2和大气污染物的排放,提高供电质量和可靠性,更多的终端用户控制。这些优点将使能源工业发生革命性的变化。它采用可再生能源发电,没有或很少大气污染物和CO2排放,采用燃料电池、微型燃气轮机和内燃机,总的排放量也可减少,利用余热可提高能效。目前,分布式发电大多是备用电源,用于医院、工厂、因特网服务器等供电中断代价大的地方,还用作边远地点的独立电源。它对发展中国家有很大好处,因为它的基础设施投入少。

❽ 分布式系统领域有哪些经典论文

分布式系统在互联网时代,尤其是大数据时代到来之后,成为了每个程序员的必备技能之一。分布式系统从上个世纪80年代就开始有了不少出色的研究和论文,我在这里只列举最近15年范围以内我觉得有重大影响意义的15篇论文(15 within 15)。

1. The Google File System: 这是分布式文件系统领域划时代意义的论文,文中的多副本机制、控制流与数据流隔离和追加写模式等概念几乎成为了分布式文件系统领域的标准,其影响之深远通过其5000+的引用就可见一斑了,Apache Hadoop鼎鼎大名的HDFS就是GFS的模仿之作;
2. MapRece: Simplified Data Processing on Large Clusters:这篇也是Google的大作,通过Map和Rece两个操作,大大简化了分布式计算的复杂度,使得任何需要的程序员都可以编写分布式计算程序,其中使用到的技术值得我们好好学习:简约而不简单!Hadoop也根据这篇论文做了一个开源的MapRece;
3. Bigtable: A Distributed Storage System for Structured Data:Google在NoSQL领域的分布式表格系统,LSM树的最好使用范例,广泛使用到了网页索引存储、YouTube数据管理等业务,Hadoop对应的开源系统叫HBase(我在前公司任职时也开发过一个相应的系统叫BladeCube,性能较HBase有数倍提升);
4. The Chubby lock service for loosely-coupled distributed systems:Google的分布式锁服务,基于Paxos协议,这篇文章相比于前三篇可能知道的人就少了,但是其对应的开源系统zookeeper几乎是每个后端同学都接触过,其影响力其实不亚于前三篇;
5. Finding a Needle in Haystack: Facebook's Photo Storage:facebook的在线图片存储系统,目前来看是对小文件存储的最好解决方案之一,facebook目前通过该系统存储了超过300PB的数据,一个师兄就在这个团队工作,听过很多有意思的事情(我在前公司的时候开发过一个类似的系统pallas,不仅支持副本,还支持Reed Solomon-LRC,性能也有较多优化);
6. Windows Azure Storage: a highly available cloud storage service with strong consistency:windows azure的总体介绍文章,是一篇很好的描述云存储架构的论文,其中通过分层来同时保证可用性和一致性的思路在现实工作中也给了我很多启发;
7. GraphLab: A New Framework for Parallel Machine Learning:CMU基于图计算的分布式机器学习框架,目前已经成立了专门的商业公司,在分布式机器学习上很有两把刷子,其单机版的GraphChi在百万维度的矩阵分解都只需要2~3分钟;
8. Resilient Distributed Datasets: A Fault-Tolerant Abstraction for
In-Memory Cluster Computing:其实就是 Spark,目前这两年最流行的内存计算模式,通过RDD和lineage大大简化了分布式计算框架,通常几行scala代码就可以搞定原来上千行MapRece代码才能搞定的问题,大有取代MapRece的趋势;
9. Scaling Distributed Machine Learning with the Parameter Server:网络少帅李沐大作,目前大规模分布式学习各家公司主要都是使用ps,ps具备良好的可扩展性,使得大数据时代的大规模分布式学习成为可能,包括Google的深度学习模型也是通过ps训练实现,是目前最流行的分布式学习框架,豆瓣的开源系统paracell也是ps的一个实现;
10. Dremel: Interactive Analysis of Web-Scale Datasets:Google的大规模(近)实时数据分析系统,号称可以在3秒相应1PB数据的分析请求,内部使用到了查询树来优化分析速度,其开源实现为Drill,在工业界对实时数据分析也是比价有影响力;
11. Pregel: a system for large-scale graph processing: Google的大规模图计算系统,相当长一段时间是Google PageRank的主要计算系统,对开源的影响也很大(包括GraphLab和GraphChi);
12. Spanner: Google's Globally-Distributed Database:这是第一个全球意义上的分布式数据库,Google的出品。其中介绍了很多一致性方面的设计考虑,简单起见,还采用了GPS和原子钟确保时间最大误差在20ns以内,保证了事务的时间序,同样在分布式系统方面具有很强的借鉴意义;
13. Dynamo: Amazon’s Highly Available Key-value Store:Amazon的分布式NoSQL数据库,意义相当于BigTable对于Google,于BigTable不同的是,Dynamo保证CAP中的AP,C通过vector clock做弱保证,对应的开源系统为Cassandra;
14. S4: Distributed Stream Computing Platform:Yahoo出品的流式计算系统,目前最流行的两大流式计算系统之一(另一个是storm),Yahoo的主要广告计算平台;
15. Storm @Twitter:这个系统不多说,开启了流式计算的新纪元,几乎是所有公司流式计算的首选,绝对值得关注;

❾ 分布式系统领域有哪些经典论文

在计算机科学中,分布式计算(英语:Distributed computing,又译为分散式计算)这个研究领域,主要研究分散系统(Distributed system)如何进行计算。分散系统是一组电子计算机(computer),通过计算机网络相互链接与通信后形成的系统。把需要进行大量计算的工程数据分区成小块,由多台计算机分别计算,在上传运算结果后,将结果统一合并得出数据结论的科学。目前常见的分布式计算项目通常使用世界各地上千万志愿者计算机的闲置计算能力,通过互联网进行数据传输。如分析计算蛋白质的内部结构和相关药物的Folding@home项目,该项目结构庞大,需要惊人的计算量,由一台电脑计算是不可能完成的。
最近的分布式计算项目已经被用于使用世界各地成千上万位志愿者的计算机的闲置计算能力,通过因特网,您可以分析来自外太空的电讯号,寻找隐蔽的黑洞,并探索可能存在的外星智慧生命;您可以寻找超过1000万位数字的梅森质数;您也可以寻找并发现对抗艾滋病病毒的更为有效的药物。这些项目都很庞大,需要惊人的计算量,仅仅由单个的电脑或是个人在一个能让人接受的时间内计算完成是决不可能的。

热点内容
涂鸦论文 发布:2021-03-31 13:04:48 浏览:698
手机数据库应用 发布:2021-03-31 13:04:28 浏览:353
版面217 发布:2021-03-31 13:04:18 浏览:587
知网不查的资源 发布:2021-03-31 13:03:43 浏览:713
基金赎回参考 发布:2021-03-31 13:02:08 浏览:489
悬疑故事范文 发布:2021-03-31 13:02:07 浏览:87
做简单的自我介绍范文 发布:2021-03-31 13:01:48 浏览:537
战略地图参考 发布:2021-03-31 13:01:09 浏览:463
收支模板 发布:2021-03-31 13:00:43 浏览:17
电气学术会议 发布:2021-03-31 13:00:32 浏览:731