
云计算:大数据时代的系统工程(修订版)
《云计算:大数据时代的系统工程(修订版)》是2016年5月电子工业出版社出版的图书,作者是姚宏宇、田溯宁。
基本介绍
- 书名:云计算:大数据时代的系统工程(修订版)
- 作者:姚宏宇、田溯宁
- ISBN:978-7-121-28303-1
- 页数:228
- 定价:45.00元
- 出版社:电子工业出版社
- 出版时间:2016年5月
- 开本:16
内容简介
在网际网路带来的“大”问题压力下,我们需要全新的思想,通过“积木化”的改变,来重新定义计算资源的使用方式、服务的提供方式,以及社会化大生产的协作过程。云计算带来了这种思想的落实机制,这种机制使我们可以组织资源以服务,组织技术以实现,组织流程以应变。而且,云计算扩大了我们对服务的定义,并带来了一个全新的计算资源管理思路,一种信息技术的系统工程理念和一次信息社会的工业化革命。与此同时,大数据的发展为云计算提供了重要的套用场景,云计算与大数据之间的关係,以及如何藉助云计算平台的优势,更有效地从大数据中发掘出各种价值也正在成为人们关心的焦点。
《云计算:大数据时代的系统工程(修订版)》以简单平实的语言,将这些思考一一展现给读者,并结合作者多年的实践经验,对云计算涉及的概念、技术,以及将给我们的生活和社会带来的影响等各方面进行了阐述,从一种全新的视角展现了云计算的魅力。
编辑推荐
大数据的发展为云计算提供了重要的套用场景,云计算与大数据之间的关係,以及如何藉助云计算平台的优势,更有效地从大数据中发掘出各种价值也正在成为人们关心的焦点。
内容提要
在网际网路带来的“大”问题压力下,我们需要全新的思想,通过“积木化”的改变,来重新定义计算资源的使用方式、服务的提供方式,以及社会化大生产的协作过程。云计算带来了这种思想的落实机制,这种机制使我们可以组织资源以服务,组织技术以实现,组织流程以应变。而且,云计算扩大了我们对服务的定义,并带来了一个全新的计算资源管理思路,一种信息技术的系统工程理念和一次信息社会的工业化革命。与此同时,大数据的发展为云计算提供了重要的套用场景,云计算与大数据之间的关係,以及如何藉助云计算平台的优势,更有效地从大数据中发掘出各种价值也正在成为人们关心的焦点。
《云计算:大数据时代的系统工程(修订版)》以简单平实的语言,将这些思考一一展现给读者,并结合作者多年的实践经验,对云计算涉及的概念、技术,以及将给我们的生活和社会带来的影响等各方面进行了阐述,从一种全新的视角展现了云计算的魅力。
目录
再版序 / VII
序言一 倪光南 走向云的世界 / X
序言二 王文京 上兵伐谋 / XIII
自 序 / XV
前 言 什幺是云计算 / XVIII
第一章 信息需求的新菜谱 / 1
“不成功”的产品 / 2
“成功”的新套用 / 4
分合向前的IT变革 / 6
新经济的特点 / 10
网际网路下的“大”压力 / 11
云计算的生态系统 / 15
创新的新菜谱 / 18
第二章 一切皆可为服务 / 21
传统软体的“终结者” / 22
SaaS、PaaS和IaaS / 23
区别和联繫 / 33
网际网路服务的新方向 / 34
新服务的潜力 / 36
第三章 云计算之辩 / 39
完整的云计算定义 / 40
与云计算有关的技术 / 43
云计算并非万能灵药 / 54
第四章 信息技术的系统工程 / 59
集中力量办大事 / 60
弹性:蚂蚁雄兵 / 62
透明:沙地建楼 / 69
积木化:积木重组 / 75
第五章 信息系统架构的转变 / 79
竖井式的企业信息系统 / 80
日趋完善的系统需求 / 84
全新的信息系统架构 / 87
新型企业信息系统模组介绍 / 91
典型业务套用示例 / 99
第六章 大数据的发动机 / 103
大数据“引擎” / 104
城市的“智慧” / 107
统一数据支撑平台(云资料库) / 112
统一运行支撑平台(网路虚拟机) / 122
第七章 商业变革的催化剂 / 129
零售企业的流程再造 / 130
云计算推动企业变革 / 135
IT资源使用的新方式 / 137
业务整合的新平台 / 140
向“服务”转型的新思路 / 142
创新增长的新动力 / 144
第八章 信息社会的工业革命 / 147
解放信息生产力 / 148
云计算改变信息生活 / 151
云计算推动社会变革 / 156
第九章 云计算是谁的机会 / 163
中国的私有云发展更快 / 164
数据中心应“行业”集中 / 169
中国企业的“云”机会 / 171
中国“云”企业的机遇和挑战 / 175
尾语 成长中的云计算 / 179
引用资料 / 185
精彩节摘
再版序
云计算的发展如此之快,既在情理之中,又有些超乎我的意料之外。
作为一种以“系统工程”的思路来解决“大”问题的信息技术,云计算满足了政府和企业等各类组织应对“大用户”、“大数据”和“大系统”所带来的压力问题,并且使组织能最大程度发挥信息系统资源和能力的价值,从而具备更多的创新可能性,所以云计算发展在情理之中。
超出意料之外的主要是云计算的发展速度。从目前来看,云计算已经跨过能否落地以及如何落地的市场培育期,成为了IT产业发展的战略重点,并逐渐成为现代信息和通信技术发展的承载基础。
首先,全球IT公司纷纷向云计算转型,并通过各种技术或业务形式,来将云计算的能力具体化或场景化,比如“软体定义”、“融合架构”、“容器”技术等, 这些新概念的快速普及,一方面进一步凸显了云计算的“弹性”、“透明”、“结构 化”和“动态”等特点,以帮助用户更好地管理资源、调度资源;另一方面使用户对云计算的使用变得自然和简单,有了更具体的套用场景。
其次,套用场景进一步明确。智慧城市建设的快速进行,以及“网际网路+”对行 业信息化升级的促进,都加快了政府和企业的“入云”步伐;针对于特定行业的解决方案开始丰富化。在这个过程中,云计算产业的规模也保持了高速增长,整个信息和 通信产业的格局正在重新洗牌,合併、收购案例层出不穷,如书中所说,“对于芯 片、硬体、软体、终端等企业来说,都不失为一次重写市场格局的良机”。
现在,大数据已经成为云计算最重要的套用场景。随着社会经济、技术的高速发展,人与物、物与物、人与人、政府部门及部门等之间的联繫也变得越来越密切,这种在“全联接”状态下所产生的大数据的存储、管理和利用问题,都为云计算的能力优势找到了更多样化的出口;而云计算技术的快速发展,也为物联网、移动网际网路和大数据的发展,提供了有力的支撑——基于随时可用的云计算资源而进行的创 新正在呈现出大爆发的迹象,云计算真的正在带来一场信息社会的工业革命。
因此,在修订版中,我们特意加入了“大数据的发动机”这一章,以统一数据支撑平台和统一运行支撑平台双引擎的概念,重新解读企业信息系统架构的问题,看看我们能够如何在云计算的帮助下让大数据落地,发掘出各种价值。
当然,我们也希望这些内容能帮助读者对云计算和大数据的关係有更多的认识:如果说大数据是一座蕴含巨大价值的矿藏,那幺云计算就是採矿作业的得力工具,没有云计算的强大能力,大数据的信息沉澱再丰富,我们或许也只能望洋兴叹,入宝山而空手回;但从另外的角度说,云计算也是为了解决大数据等“大”问题所发展而来的技术趋势,没有大数据的信息沉澱,云计算的功用也将得不到完全发挥。从整体上看,大数据与云计算是两个相辅相成的概念。
此外,在第一版中已经说到,虽然大量的数据中心建设为云计算的发展提供了坚实的硬体基础,但如果考虑最终的使用问题,公有云服务还是应该以套用和服务的落实为方向。并且由于初期的信息化建设已经满足了企业的通用需求,所以在升级至云计算服务时,企业往往不会採用一些标準化的解决方案,而会提出更具体的要求,所以一些之前在行业套用市场里有更多积累的传统企业,可能会慢慢进入这个市场。
从现在来看,这些情况都已经出现。 首先,公有云中针对行业的解决方案越来越多,而且越来越多的公有云服务商
开始开放接口,通过打造一个开放的生态系统吸引第三方进入,来丰富平台所能提供
的服务;其次,传统行业软体提供商也在进入市场,不是慢慢进入,而是被整个行业趋势推动着奔跑加入这个市场,以儘可能在整个变革过程中保持自己的市场竞争力和地位。
总而言之,云计算以如此迅猛的速度发展,确实有些出乎我的意料,但作为参与到其中的一份子,我又欣喜于整个行业所取得的进步。当然如之前所说,我们还在不断摸索和深化对云计算的理解,希望在不久的将来,云计算所提供的强大能力和便捷的资源使用方式,能更好地改善人们的信息化生活,促进整个社会的创新和变革。
着者
2016年3月
自序
“云计算”一词出现之后,市场上出现不少有关云计算的着作和说辞,许多都 给人以启示,但也有一些说法中存在值得商榷之处。在本书中,笔者希望能将自己对云计算的理解分享出来,抛砖引玉,使大家能对云计算有一个较为全面的认知。
本书的初衷在于向对云计算感兴趣的读者介绍完整的云计算概念和云计算的发展现状,并与业内人士探讨有关云计算发展可能性的思考,所以本书在写作过程中更多着力观点阐述而非技术说明,力争以通俗的语言展现云计算的全貌,而且在介绍一些方法和技术时并未对其理论基础做进一步说明,读者如有兴趣可通过本书所附参考 书目信息或其他途径进行深入了解。
全书共分九章。
第一章从需求的角度讲述了云计算出现和发展的背景,表明云计算的出现和普及,是网际网路快速发展之下人们对信息生产工具不断变革的要求。
第二章和第三章着眼于对现有云计算概念和观点的梳理。其中,第二章对现在常见的三种云计算服务模式(SaaS、PaaS和IaaS)进行了解读,并说明云计算服务有 别于早期的网际网路服务,形成了自己特有的商业模式,“一切皆可为服务”。第三 章对现在一些常见的有关云计算的概念和观点进行了解读和分析,指出云计算包含“服务”和“平台”两种概念,并帮助读者釐清常见技术与云计算之间的关係。
第四章提供了一种新的从底层平台来了解云计算的视角,通过对云计算平台的“弹性、透明、积木化、动态、通用和多租赁”这六大核心技术思想进行说明,阐述了云计算平台如何以“系统工程”的思路来解决“大”问题。
第五章在分析现有的企业信息系统所面临的问题的基础上,给出了一种基于云计算平台的新型企业信息系统架构,并对信息系统架构的套用环境进行了举例 说明。
第六章以统一数据支撑平台和统一运行支撑平台双引擎的概念,重新解读了企业信息系统架构的问题。并以智慧城市的建设举例,指出大数据不是某种东西,而是一种数据生产力,而藉助云计算平台的优势,我们可以更有效地从大数据中发掘出各 种价值。
第七章和第八章分别从商业、生活和社会的角度,论述云计算已经和将会带来的影响和改变。
第九章则对中国和美国的云计算发展现状进行了比较,并尝试探讨云计算对于中国企业的机遇和意义。
本书期望能通过这些内容的讨论,阐明以下观点。 首先,云计算并不神秘,但也并非只是市场宣传噱头。无论是国内还是国外,云计算均早已落地使用,影响也在不断扩大,其可能产生的意义更是为人们勾勒出一个美好的“云”时代的远景。从实用主义的创始人、美国哲学家皮尔士的观点来看,科学的方法要求我们不仅说出我们所相信的真理,还要说出我们是如何达到它的。云计算不仅为我们描绘了技术发展可能给社会带来的改变,还给出了实现这种变 革的科学方法,即根据上层套用需求的不同,以一种灵活可靠的组织机制,通过对底层资源和业务模组进行调度和重组来实现系统平台结构的转变,从而重新定义资源的使用方式和服务的提供方式。因此,无论是在套用层面还是技术层面,云计算都绝非 “忽悠”。
其次,云计算市场前景广阔,但发展仍需各方努力推进。现在企业所需面对的用户和数据与日俱增,即便是一个小企业,它所面临的业务系统的并发访问流量、数 据存储和管理压力或者系统架构的複杂度,都可能远超过去的大型企业,这些“大用户、大数据和大系统”问题的日益凸显,为云计算的发展提供了广袤的土壤。物联网、移动网际网路等技术的快速发展,也在不断催生新的云计算套用市场,由此可以预期云计算发展的光明前景。但我们也应意识到云计算市场的成熟是一个循序渐进的过程,除技术的发展之外,人们思维方式的转变速度很大程度上决定了这个过程的快慢。因此,产业链上的各方应着眼于未来,努力做好现在,一方面推出具有吸引力的 服务和产品,另一方面,需要人们思维的转变和社会诚信体系的快速完善。面对问题,我们应该多些耐心。
再次,云计算不一定能解决所有问题。云计算的发展始终以市场需求为导向, 这决定了云计算与其他技术一样,有其合理的适用领域。因此在某些情况下,採用其他技术对于用户而言或许是更好的选择。本书在第三章简单列举了几种不适合使用云计算的情况,以供探讨。
非常感谢倪光南院士和王文京先生于百忙之中通读全稿,提出宝贵意见,并为本书作序。感谢陈志伟先生为本书成稿提供的大力支持,他在内容组织和编辑上所提 供的帮助使本书以更好的形式呈现给大家。另外,还要感谢姚剑先生和张矩先生在本书成稿过程中提供的宝贵意见和行文素材,也非常感谢苏晣女士,杨力先生和杨苓女士的专业坦率的建议,他们的指导为本书的创作提供了很大的帮助。最后,邱文娴女士等人为本书做了很多资料整理和文字校对工作,在此不一一列举,但同样致以我的谢意!
本书在写作过程中参阅了国内外诸多文献和研究专着,并引用了一些公司和相关人士的观点,在此向他们表示感谢。
本书观点主要源自我们长期以来的业务实践和思考,一家之言难免有失偏颇, 书中如有错误和不当之处,欢迎读者批评指正。
着者
2016年1月
作者简介
姚宏宇,美国威斯康辛大学麦迪逊分校博士,有多年在硅谷从事大规模企业软体和网际网路技术的研究、开发和管理工作的经历,现为友友系统公司CEO,中国电子学会云计算专家委员会委员,国家特聘专家,併入选中组部千人计画。
田溯宁,美国德州理工大学博士,中国着名企业家,北京“云基地”创始人,现为中国宽频资本基金董事长,并担任万事达国际组织独立董事,联想集团独立非执行董事,哈佛商学院顾问委员会委员等职。
田溯宁,美国德州理工大学博士,中国着名企业家,北京“云基地”创始人,现为中国宽频资本基金董事长,并担任万事达国际组织独立董事,联想集团独立非执行董事,哈佛商学院顾问委员会委员等职。
前言
什幺是云计算
很多人觉得云计算应该是个具体的事物,所以初听到云计算时,总会先问一 句:“什幺是云计算?”
什幺是云计算?问的人轻鬆,回答的人却很费力,仿佛描绘一种味觉,感觉强 烈,却不知如何抓住要领呈给面前的人看个仔细。倘若尽心给出一种解释,或画出一 张架构图,听众可能还是一脸茫然,回答的人多半会急得皱眉跳脚,也有人会撂下一 句:“你记得是IaaS、PaaS和SaaS即可”。
话虽好说,理却难明。即使听懂了解释,还是有许多人会不知道“云计算”缘 何而来,用于何处。
1. “云计算”一词最早被大範围的传播应该是在2006年。2006年8月,在圣何塞举
办的SES(搜寻引擎战略)大会上,谷歌的CEO施密特(Eric Schmidt)在回答主持人提出的一个有关网际网路的问题时说:“……现在出现了一种新的商业模式……人们还没有意识到这个机遇有多大。这种模式的前提是,数据服务的架构应该在他们称为‘云计算’的伺服器上,即在某处的云里,如果你有合适的浏览器或接入方式,那幺不论你有什幺设备,你都可以访问这些数据。”
很多人认为云计算自此出现,因为从此之后各种有关云计算的概念层出不穷,“云计算”开始流行。
但2006年出现的只是“云计算”这个词,仿佛一个幕后工作人员忽然被主持人介绍到台前拿了奖,在媒体长篇累牍的报导下,一夜成名。而实际上,云计算本身无论是商业模式还是技术都已经发展了很长时间,并在实践的过程中逐步演进。在2006年时,云计算本身未必发生质变,但既然人们对云计算的认知发生了质变,所以将其理论化、体系化势在必行。德国政治学家伊莉莎白·诺艾尔-诺依曼(Elisabeth Noelle-Neumann)提出过一种“沉默的螺旋”(Spiral of Silence)的理论,认为人们在表达想法和观点的时候,如果觉得自己的观点是公众中的少数派,就不愿意传播自己的看法,但如果看到自己赞同的观点受到广泛欢迎,就会乐于公开表示自己的观点 或态度。这样,多数派的声音会越来越大,形成一种螺旋式上升的模式。云计算概念的忽然兴起或许就与此相仿。
虽然谷歌为云计算命名,但真正明确云计算商业模式的是亚马逊。在施密特态 度鲜明地提出“云计算”这个词的几个星期之后,亚马逊推出了EC2(动态计算云) 服务,将“云”这个名词包含在内。
亚马逊是个神奇的公司,销售包括图书、DVD、电脑、软体、电视游戏、电子 产品、衣服、家具、计算资源等一切适合电子商务的“商品”。在推出EC2的时候, 亚马逊也面临不少“这个零售商为什幺想做这些”的质疑,但CEO贝索斯对商业的 概念理解明显要宽泛很多。贝索斯无疑认为不管是“PC+软体”,还是这种从“云” 里取得服务的方式,不仅关乎技术的问题,还都是一种“商业模式”。
最早时,为了让网站能支持大规模的业务,亚马逊在基础设施建设上花了很大功夫,自然也积累了很多经验。为了将平时闲置的大量的计算资源也作为商品出售,贝索斯的亚马逊公司先后推出了S3(简单存储服务)和EC2等存储、计算租用服务。贝索斯表示,“我们认为在某一天这也会是一项非常有意思的业务,所以我们这幺做的目的很简单:我们认为这是个好业务。”虽然媒体认为这是贝索斯安全度过网际网路泡沫之后的一笔冒险赌注,“亚马逊的CEO想要用他网站背后的技术来运行你的业务,但华尔街只想他看好自己的店面。”但EC2确实影响了整个行业,也影响了很多人,当时业界明显受到了震动。
在亚马逊之前,虽然有不少服务按现在来看都有云计算服务的特徵,但即使是谷 歌所提供的服务,仍然可以看做是网际网路服务意义内的一种商业模式。而亚马逊推出 IaaS(基础设施即服务)之后,仿佛给网际网路世界开了一扇窗,告诉人们,还可以这样来运营计算资源,还有一种新的商业模式,叫云计算。而那些与传统网际网路服务形似神离的服务模式,也终于可以独立出来,找到自己归属的阵地——云计算服务。
2. 云计算起源于网际网路公司。虽然网际网路公司给人的印象大多是钱多烧不完,但其实多数网际网路公司都很注重成本控制。
尤其是早期不少网际网路公司都起源于学生宿舍,费用的掣肘使这些公司儘可能合理地利用每一个硬体,最大程度地发挥机器的性能。所以早期的网际网路公司都会自己选主机板、硬碟等配件,然后进行组装,完成伺服器硬体的设计。这种传统沿袭下来,就是现在硬体定製化日趋流行的原因。如今谷歌、Facebook都会自己动手设计和生产伺服器,以最少的配件最大可能地支持特定功能需求,并降低伺服器的能耗。
对于硅谷工程师而言,超级家电连锁店Fry's或许是最值得逛的“购物天堂”。硅谷有不少Fry's的连锁店,由于Fry's占地面积很大,东西齐全且便宜,理论上一个技术人员可以在这里买到所有的零配件,然后组装一个主机板,所以这里很受工程师的欢迎。雅虎的工程师们也曾是Fry's的常客。
2000年,网际网路经济处于第一波热潮中。这时全球网际网路用户人数已经从1995 年的几千万增至数亿,并仍在不断快速增长。快速增长的用户数量,使许多网站感受到了系统支撑的压力。当时雅虎经常面临的一个问题是,一个频道设计完成之后,在上线之前测试可支撑一定数量的用户(比如10万人),但第二天一上线就出现达到指标的情况。怎幺办?只有增加设备,儘可能提高系统对服务的支撑能力,因此即刻购买设备然后连夜组装机器的情形并不少见。到Fry's选买配件是不少工程师的工作内容之一,当然也是乐趣之一。雅虎的共同创始人之一大卫·菲洛(David Filo)至今还喜欢组装机器,不知道是不是一种习惯使然。
为了支撑业务运转,满足用户需求,伺服器的整体性能在不断上升,相应地,伺服器的数量也在不断增加。这很自然会引出一个问题,数十台机器可以手动组装维护,上千台甚至上万台机器该如何处理?人能管理的机器数量始终有限,即使劳作不休,所能承受的负荷也有一定的极限。每一个大型网际网路公司,都曾遇到过这个问 题:如何管理和维护成千上万台伺服器?
很多事情在讲述的时候似乎很有意思,但当时经历的时候会让人觉得绝望。“大系统”的压力对于系统维护工程师而言,就是这样的事情。
2000年初,笔者(此处指姚宏宇博士)当时在雅虎公司编程之外做的最多的两件事,现在听起来或 许还有些“土”:一件是组装机器,一件是维护机器,而这只是为了保证在足够 多且可靠的硬体支撑下,业务系统能够有效应对不断快速增长的用户需求。
在当时,笔者加班到晚上十点钟左右是常有的事,然后还要从加利福尼亚州的桑尼维尔(Sunnyvale)开车回家,再和朋友一起找地方吃饭。由于住的地方位于南圣何塞(South San Jose),附近是越南人聚集地,太晚的时间只有越南米粉(Pho)可以吃,于是以越南米粉果腹的时间持续有半年之久,以致现在对“牛 肉粉(Beef Pho)”产生排斥感。吃完饭之后回去还要继续工作,凌晨两、三点才能睡觉。美股的开盘时间是东部时间9:30~16:00,这意味着在此之前必须保证交易网站服务的正常运行,所以必须每天早上6点準时起床,来检查系统的运行状态。很多人每天都会收到大量邮件,但早上刚起床就看到上万封邮件和几百条呼叫(Pager)信息,并且全部来自机器的情况并非人人都有体会,虽然是专职于此的技术人员,这种极大的压力状况还是很容易让人产生无力感,持续下去会有崩溃的感觉。怎幺办?只有把雅虎财经频道大部分的底层代码进行重写,找回些生活。
现在看来,大量用户带来的大流量的压力,以及大系统的问题不仅对于每一个 网际网路公司来说仍然普遍存在,而且已经越来越多地出现在其他传统企业中。
对于大多数网际网路企业而言,虽然伺服器规模不至于如此庞大,但随着用户规模的增加,少则数百台,多则上千台的伺服器仍然对企业的运维管理能力提出了挑战。
对于企业来说,随着系统越来越大,维护人员却不能对应成比例增长——企业 要考虑人力成本,还要顾及运维效率的问题——即便如此,雅虎在某一阶段有过半的成本都耗在旧有设备和系统的维护上,而无法把大部分资金投入到新业务的开发中。公司能创造新价值的部分越来越少,创新也越来越少,只能求变。
除了大规模系统的维护之外,海量数据的存储问题同样是网际网路公司头疼的问题所在。随着网路技术和服务的快速发展,用户平均线上时间的延长和用户网路行为的多样化,导致各类数据在不断涌现,移动终端的出现更是扩充了网路服务的内容与範围,这些都大大增加了网际网路公司需要承载的数据量。大量的用户数据对每一个公司而言都是宝贵的信息财富,但是如果只是购买信箱存储设备一年就要花费几亿美金的话,每个CEO都会再权衡一下,于是雅虎后来有了Hadoop的研发。
因此,在流量和伺服器数量都高速增长的情况下,“一个能够与网页增长速度保持同步的系统”必不可少,这也是谷歌三篇有关分散式的论文(注: 这三篇论文分别是有关GFS(Google File System)分散式存储系统、MapReduce分 布式处理技术和BigTable分散式资料库的论文,下文也有所提及) 之所以具有重要指导意义的原因——一切均出自实践。
随着信息经济的发展,许多传统企业现在也在加速向网际网路化转型。最初存在于网际网路企业的压力也出现于其他组织机构中,对大数据的管理和处理需求也在这些组织中产生。比如一个政府部门,如果考虑到信息中心和各垂直部门的信息资源,可能会有数千台伺服器和数百套业务系统需要整合和管理,而且多数分布于不同的地理位置,该如何对这些资源进行集中统一管理?
或许,这些组织也可以考虑选择云计算。
3. 对于大多数中小型组织和个人而言,云计算的魅力来自那些灵活、弹性和随时随处可用的云计算服务,或者一些针对企业和个人的“云存储”服务。这些服务是大多数人与云计算最直接的接触,也形成了他们对云计算的直观认识。但是我们知道,云计算应该包含两方面的内容:服务和平台。云计算既是商业模式,也是技术。
美国加州大学伯克利分校在一篇关于云计算的报告中,就认为云计算既是指在网际网路上以服务形式提供的套用,也是指在数据中心里提供这些服务的硬体和软体,而这些数据中心里的硬体和软体则被称为“云”。
云计算服务代表一种新的商业模式,SaaS(软体即服务)、PaaS(平台即服务) 和IaaS(基础设施即服务)是这种商业模式的代表表现形式,美国国家标準与技术研究院(NIST)就曾于2011年发布过一份《云计算概要及建议(草案)》(DRAFT Cloud Computing Synopsis and Recommendations)的报告,对SaaS、PaaS和IaaS等进行了详细说明。很多人认为SaaS必须运行在PaaS上,PaaS必须运行在IaaS上,但实际上三者之间并没有绝对的层次关係,它们都是一种服务,可以有层次叠加关係,也可以没有。
对于任何一种商业模式而言,除了理论上可行之外,还要保证实践上可用。因此,伴随着云计算服务理念的发展,云计算也形成了一整套技术实现机制,而云计算平台则是这套机制的具体体现。
但云计算服务和云计算平台之间并没有相互依存的必然关係。即如果以传统的 底层架构,或类似超级计算等实现的服务具备云计算服务的三个特点:大用户群、永远线上,以及随时随地可接入,也可称为云计算;而云计算平台本身在设计上就针对 了“大用户”、“大数据”和“大系统”的问题提出了解决办法,这也是在提供云计算服务时会遇到的典型问题;所以,以云计算平台支撑的云计算服务,不仅可以提高服务的效率,而且还会充分发挥平台的能力和优势。
很多人会把服务和平台模糊起来进行介绍,也有很多人因此会混淆对云计算的认知。看到云计算,眉眼之间都觉得熟悉,便以为是旧识,不待招呼细聊,引手就向别人介绍,这是云计算,以前是……
按照“选择性认知(Selective Perception)”的理论,人们在处理信息时都有一种选择性倾向。人们不可能吸收他们所观察到的所有信息,而只能从接收到的零碎信息中依据自己的兴趣、背景、经验和态度主动地进行选择性接受。知识结构、看问题的视角和商业利益的各不相同,就使各个群体对云计算形成了多种解读方式。
从技术角度而言,云计算最早的出身,应该是超大规模分散式计算。比如雅虎为了解决系统对大规模套用的支撑问题,而设计的超大规模分散式系统,目的就在于将大问题分解,由分布在不同物理地点的大量计算机共同解决。但随着技术不断的发展和完善,云计算在解决具体问题时,借鉴了不少其他技术和思想,包括虚拟化技术、SOA(面向服务架构)理念等,所以很多人乍看之下会觉得相似。但云计算与这些技术有根本性的差别,不仅体现在商业套用上,还体现在实现细节上,本书将在之后的章节对此进行较为详细的说明。
我们知道,所有科学的认识都是以一种层次递进、螺旋上升的方式发展的,每一种技术都有其适用的场景和範围,比如量子力学不会否认经典力学在一些物理问题上的作用。所以,对于云计算来说,糅合了各种技术不代表云计算比其他技术更优秀,而是说明云计算技术确实是针对“大用户”、“大数据”和“大系统”发展出来的一种新的实现机制。
另外,为了区分云计算的部署使用方式,现在经常提到的还有“公有云(Public Cloud)”、“私有云(Private Cloud)”和“混合云(Hybrid Cloud)”的概念。
公有云通常是指开放给公众使用的云基础设施。可以是企业、院校、政府机构,也可以是一些合作机构来持有、管理和运营公有云。私有云通常是指为一个客户单独使用而构建的云基础设施,因而提供对数据、安全性和服务质量的最有效控制,并可以控制在此基础设施上部署应用程式的方式。通常,多数中小型企业可以从不同服务商提供的各种公有云服务中受益,而鑒于现在企业所需面对的用户量、数据量及系统複杂度都在快速增长,即便是一个小企业所面临的压力,从过去的大型企业的角度来看也都已经是“大”问题,因此通过建设私有云来应对系统压力、满足业务系统需求,正在成为越来越多企业和组织的选择,并且随着企业规模的增加,私有云建设所能带来的收益也在愈发突显。
从现实情况看,公有云和私有云的区别主要体现在商业套用方面,技术上应该是互通的,区别不大。技术层面最根本的区别是访问许可权和访问模式的控制,即可访问的範围决定了“云”的业务性质。如前所述,通常意义下,私有云所面向的是一个组织机构,而非公众,但这界限其实并不绝对和清晰。比如谷歌的云作业系统,对内使用而言是私有云,而对外提供Google App Engine时,就变成了公有云的PaaS服务。
混合云也并非半“私有”半“公有”,而是在某一块资源不够的情况下,从另一处借用而已。比如游戏服务提供商Zynga有自己的“云”运行服务,但在用户使用高峰期时,又会租用亚马逊的IaaS服务。
长远来看,公有云是云计算的最终目的,但私有云和公有云会以共同发展的形式长期共存。好比银行服务的出现,货币从个人手中转存到银行保管,是一个更安 全、方便的过程,但也会有人选择自己保管,两者并行不悖。
4. 云计算的一个特别之处,在于从技术上创造性地给出了一种灵活可靠的组织机制,通过将各种资源进行快速调度和组合,来满足不同业务套用的需求。这不但适用于业务模组,而且同样适用于底层硬体资源的“积木式重组”思想,重新定义了反映在上层的计算资源的使用方式、服务的提供方式,以及社会化大生产的协作过程,为我们解决网际网路带来的“大”问题和创新服务模式带来了一种全新的思路。也就是说,云计算带来了一种组织和实现机制,使我们可以组织资源以服务,组织技术以实现,组织流程以应变。
通过云计算技术的使用,大量的硬体资源可以通过虚拟化技术结合成一个有机整体,然后通过数据传输、负载均衡等技术来相互依赖,相互作用,完成预设功能,形成一个标準概念上的“系统”。这个系统的特徵,是在物理上分散,在逻辑上集中,也就是我们说的分散式集中。
这种大量资源的逻辑集中,一是意味着通过技术手段充分利用这些资源,我们可以满足“大用户”的需求,解决“大数据”的问题;二是通过对不同资源(硬 件、套用)进行调度,我们可以基于一个平台提供多种服务,即各种IaaS、PaaS和 SaaS,以及XaaS(一切皆为服务),满足各类用户的需求。
有组织,必然有管理。既然云计算创新性地将大量计算资源组织在一起,协同工作,则云计算必须在信息技术的层面,给出一种针对大规模系统的科学管理办法。这种方法能够解决资源组织管理过程中的各种问题。比如:在增加节点、扩大系统规模的同时,还能保证系统性能的近线性提高。在系统任何一个部分都有可能出问题的情况下,保证系统整体的稳定运行。在面临不同的业务需求时,快速将资源重新组织,以新的架构适应变化。这些都要求云计算创新性地将各种技术组织起 来,“调和”实现各种功能。所以,从某种意义而言,云计算是信息技术的“系统 工程”。
我们知道,系统总是处在一定的环境背景中,与环境保持着某种程度的质量、 能量和信息的交换。一个庞大的信息系统内部会产生多种变化,外部的需求和环境也 随之而改变,所以整个系统必须不断自我管理和调整应对变化。反映在套用层面,则是指大量计算资源组织在一起,必须通过系统内部资源的整合来支撑各种套用,并可通过快速重组来应对变化,通用于各种网路服务。为此,作为底层技术支撑的云计算平台具有六大技术思想:弹性、透明、积木化、通用、动态和多租赁。这六大技术思想的灵活使用,决定了云计算平台可以通过虚拟化技术整合各类软硬体资源,可以借鉴SOA的理念实现系统和硬体层面的松耦合,进行计算、存储和套用的自由调度,以及可以通过负载均衡等方法解决“大”问题。
如同乐高积木模组之间可随意拼接的“松耦合”性,在一个高弹性可迁移的体系架构下,通过工作流引擎等方式,云计算平台可实现硬体资源和套用模组的动态调用。在这种被我们称为“积木化”的技术思想下,云计算平台可以将资源和模组重新组合,快速形成新的流程来应对业务需求变化。这样,企业在业务转型或业务拓展时,如果需要底层IT系统提供信息化支持,则只需明确业务流程,即可由云计算平台快速实现业务系统的重构,为业务革新带来新的可能。
可以说,云计算扩大了我们对服务的定义,并带来了一个全新的计算资源管理思路,以及一种信息技术的系统工程理念。
5. 云计算的发展起源自网际网路公司,但由于各网际网路公司的业务方向不同,也造成了各公司发展云计算技术的路线并不相同,有如不同的技术流派,各有特点。
……
当然,儘管各种“流派”的技术理念和实现方法都不一样,但其目的都是为了解决“大数据”、“大系统”的问题,并为上层业务套用提供支撑,所以在优劣上没有可比性。对于用户而言,适合自己的才是最好的,在选择云计算技术服务时,需要从业务场景、开发能力,以及资金预算等各方面综合考虑。
6. 有些人觉得云计算“云里雾里”,是忽悠。这是一种误解。 首先从服务的角度说,作为网际网路服务的一种延伸,云计算服务或许可被称为Internet 2.0。云计算 服务自然有一些网际网路服务的特徵,但也有自己的特点,形成了新商业模式,比如 “按需使用”、“多租户支持”等。这种服务方式已经在用其产生的市场力量影响着人们的生活和工作,影响着企业的业务模式和经营思想,以及社会的方方面面。
比如美国总务管理局(GSA)在将入口网站迁移至一家公司提供的云服务中之后,网站升级时间从包括设备採购在内的九个月,缩减至最多一天。传统的 主机设定下,每月的宕机时间大概为2小时,而在云的解决方案下,宕机时间基本为零。按其旧有设定,美国总务管理局每年要为USA.gov支付235万美元,这包括总计200万美元的硬体更新和重新获得软体许可的成本,以及35万美元的人力成本。而在迁移到云服务之后,总务管理局目前在USA.gov上一年支付费用仅为65万美元,这意味着节省了170万美元的所有相关费用。
其次,从技术套用的角度看,云计算平台给出了一种新的计算资源的使用和管理思路。在云计算之前,购买更多更高性能的伺服器,是企业应对大用户、大数据问题时的唯一选择。而云计算的出现,创新性地以“分散式集中”的方式,将分散的廉 价计算资源组合在一起,发挥“群体”的功能,来应对大用户和大数据的压力,从而 形成了新的“机器管理机器”的思路,在技术实现上有完整的体系架构。
网际网路企业使用云计算平台构建自己的业务系统不说,在中国国内的各领域中,云计算平台也已经落地使用,服务各类组织机 构。比如我们曾帮助一个全国性的政府机构构建数据云系统,把分布于全国数百个地市内的业务系统中生成与维护的业务数据,进行集中存储管理,并保证系统整体性能,以及高可靠性和高可用性。也曾帮助某电网公司通过对现有IT系统的部分子系统进行云化改造,实现了对分布于不同地区的业务系统的集中管理和统一调度,以及所有业务数据的统一存储。
因此,不论对于个人生活,还是企业套用,云计算都产生着深刻的影响。一些人认为云计算还有些“虚”,一是因为云计算还处于普及推广的过程中,云计算套用的大量“落地”需要时间;二是因为就公有云而言,很多人或者企业从心理上还没做好接受云计算服务的準备,不放心将数据“存放”在他处。然而,回顾信息技术的发展历史,我们可以发现,不论是从大型机到个人电脑,将电脑带给所有人的阶段,还是从个人电脑到网际网路,将信息带给所有人的阶段,新的信息技术从出现到普及套用都有一个渐进的过程。
如同一种进化,社会自身会不断向前推进发展,并因此而产生不同的递进式的服务模式和技术需求。人们对计算的需求,促进了计算机的普及发展;沟通分享的需求,又促进了网际网路的诞生。云计算也是一种社会需求推动的结果。在获取知识、不断创新和分享的渴望下,人们对信息服务和产品不断提出新的要求。云计算的出现,一方面解决了系统层面日趋突显的压力问题,另一方面拓宽了网路套用的範畴和创新的可能性,在极大降低人们创造知识和分享知识成本的前提下,进一步满足了人类社会获取、创新、分享知识的需求。因此,云计算是信息社会发展的必然产物。随着套用环境的发展,云计算会越来越普及,带来一个全新体验的信息社会。
通常所说工业革命的意义之一,在于使人们摆脱了生产条件的束缚,极大地解放了物质产品和有形服务的生产力。云计算的出现,也在逐步使人们摆脱使用计算资源和信息服务时的束缚,降低知识获取的成本,也使知识的产生变得更容易、分享变得更方便,革命性地改变了信息产品与知识服务的生产力。或许云计算与蒸汽机、内燃机及电力有同等重要的意义,会带来一场信息社会的工业革命。
现在来看,云计算仍然在发展的过程中,未来会发展到什幺高度还未知。我们还在不断摸索和深化对云计算的理解,毕竟对于新事物都有一个听闻而知见的过 程。对于现阶段的云计算而言,最需要的是支持,最怕的是轻视,或如管窥蠡测地轻下结论。但无论如何,云计算已经对社会生产和生活的一些领域产生了积极的影 响,相信随着技术的发展和服务的创新,云计算的时代将会很快到来,并最终影响到我们每一个人。