社区应用 最新帖子 精华区 社区服务 会员列表 统计排行 银行

  • 3984阅读
  • 1回复

南方周末:云里雾里云计算

级别: 管理员
发帖
8532
金币
2762
威望
3231
贡献值
0
元宝
0
玉米地里生长着润泽信息港——位于河北廊坊的这个云存储数据中心,仅仅前期规划面积就是目前全球最大数据中心(位于美国芝加哥)的两倍多。 (南方周末记者 谢鹏/图)
作者: 南方周末记者 谢鹏 发自北京
一场世界范围内的云“革命”,带来了无数新生意。越来越多中国城市与企业,正拼命挤进这场云计算产业盛宴。
如何在产业革命中跃上青云,而不是云里雾里凑热闹,才是真正的考验所在。
“云”涌
北京是祥云,上海是云海,深圳是鲲云,重庆是云端,杭州是云超市,宁波是星云,无锡是云谷,苏州叫彩云,哈尔滨叫云飞扬,广州天云,惠州惠云,秦皇岛叫数谷。
“云”,正在中国成为一场云里雾里的盛宴。
不管是不是清楚“云”到底是什么,不管是不是有“云”化的信息产业基础,越来越多的城市正匆忙地戴上“云”这个时髦的帽子。
比如,北京是祥云,上海是云海,深圳是鲲云,重庆是云端,杭州是云超市,宁波是星云,无锡是云谷,苏州叫彩云,哈尔滨叫云飞扬,广州天云,惠州惠云,秦皇岛叫数谷。
最野心勃勃的是重庆。2011年4月,重庆的两江新区开建“中国最大的云计算实验区”两江国际云计算中心,总投资400亿元。仅十多天后,这个“最大”就被当地开建的另一工程赶超——江津区云计算产业基地规划面积15平方公里,总投资达500亿元。
这场盛宴是如此热闹,一些更小的城市也不愿缺席,河北的涿州也宣布要投资50亿元建立云计算基地。
无数公司也正在挤进宴会。
就在涿州,一家叫“鸿蒙国际”的公司宣称要成为全球首个云计算应用网站平台。这是一家由国有印刷工厂改制而来的企业,它号称已经开发出了复杂的“云中云”体系,能为中国的每个乡镇都提供一个独立网站。
“中国目前确实存在云跃进现象。”润泽科技发展有限公司董事长周超男有些担忧地告诉南方周末记者。
她所在的公司是河北廊坊润泽信息港的投资建设方。润泽信息港被称为目前中国规划最大的云存储数据中心,仅前期规划就是现在全球最大数据中心(位于美国芝加哥)的两倍多。
“革命”与生意
在业界看来,云计算有望成为继大型计算机、个人计算机、互联网之后的第四次IT产业革命。
所谓云计算,就是要建立信息的公共电厂——就像以前许多工厂都自己买发电机发电,后来有了公共电厂,就变成了只需要按用的度数买电。
在云时代中,无论企业还是消费者,只需要买其他人提供的服务,而不需要自己去“发电”——买软件或是组建IT团队。
以一个在线账务管理系统为例,一年的租赁费只有300-500 元。而买一套软件,往往需要上百万元。
再比如,对消费者来说,最简单的云计算应用是,可以把买硬盘的钱省下来,用少量的钱把大量数据存到云中去。
对于做这门生意的企业来说,云时代,就是卖“计算机”的不卖“机”了,卖“计算”了;卖“存储器”的不卖“器”了,卖“存储”了。总之,云时代,不卖“服务器”卖“服务”了。
正因为这些巨大变化,在业界看来,云计算有望成为继大型计算机、个人计算机、互联网之后的第四次IT产业革命。
为了抓住产业颠覆性变革的机会,目前我国政府规划了北京、上海、深圳、杭州和无锡五个云计算示范城市,任务是探讨商业化运作,突破核心技术,制定标准,成立产业联盟。
更令人垂涎的是,“革命”将带来滚滚财富。
美国市场研究公司IDC此前发布的研究报告显示,2010年中国云计算服务市场规模已达3.2亿美元,并将以近40%的年复合增长率快速增长,到2014年其规模将超过10亿美元。市场上最乐观的估计是,到2015年,云计算将在新兴产业中占到15%-20%的规模。
先驱还是先烈
云计算应用成熟的美国,在经历了需求暴增期之后,数据中心的数量从过去1100个削减到现在的300个左右。
云计算的产业链上,首先就是基础架构,即数据中心。
数据中心跟云计算的关系,润泽科技发展有限公司董事长周超男有一个形象的比喻:云存储是云计算的基础,云存储是个海,经过光合作用形成一些云,即云计算。云聚集到一定的时候会下雨,那就是物联网。因此,润泽在做“海水”的生意。
周超男,女,湖南人,今年51岁,早年在湖南粮食系统工作过,后来做运输贸易和管理国有出租车公司。1996年下海经商,在常德市修路期间开始发迹。2000到北京发展,杀入通讯管网领域,目前“垄断”了北京通州区的管网建设。
现在,周超男的新目标是云存储数据中心。她对南方周末记者预测,十二五期间,每个中国人需要存储的数据是一个TB(1TB=1024GB),十三五期间则是每人10TB。
她说,现在北京的数据中心,建设一个满一个。由于微博带来的数据暴增,让新浪找到了她谈合作,希望在2012年6月30日之前入驻润泽信息港。
润泽信息港靠出租机房和机柜来赚钱。目前比较成熟的此类服务提供者亚马逊(微博)每GB数据量是一个月收费12-15美分(相当于9毛钱),而润泽定价是5毛钱。一个机位可以存200个TB,也就是一年 120万元——润泽明年能够投入使用的是两栋数据楼,8000个机位。
不过,这种高增长能持续多久?要知道,云计算应用成熟的美国,在经历了需求暴增期之后,数据中心的数量从过去1100个削减到现在的300个左右。
周超男其实也并不那么乐观。“我们也许是先锋,也许是先烈。”她说。她将自己的生意跟廊坊政府严密捆绑以减少风险,“这个事情早早晚晚都是政府做的事情,我只是前面跑几步,最后还是政府来做的事。因为信息数据的安全是很重要的。”
火爆的市场上已经有公司倒下了。
10月底,一家叫做云快线的公司终止了服务。一位要求匿名的上海云计算内部人士对南方周末记者透露,北京云快线公司原来用美国SUN的技术,没有自主核心技术。
而据南方周末记者了解,一个课题组已经向国务院提交了一份针对云跃进的调研报告。该报告建议,对数据中心的建设进行集中管理以避免重复建设。
政府抢“云”
因为云计算数据中心耗电量极大,电价堪称杀手锏。
对关系着整个产业链的产业革命更感兴趣的,还有各地政府。为了在这场竞赛中胜出,他们各出奇招。
因为云计算数据中心耗电量极大,电价堪称杀手锏。
成都带宽成本几乎是东部地区的30倍,云计算一年要缴纳三百多万元的光纤使用金——曙光公司在无锡的数据中心每年只要十几万元。但成都为了发展云计算,依然不惜血本,拿出了当时几乎是全国最低的价格——每度电3毛7分6。
内蒙古鄂尔多斯则直接开出了每度电不高于3毛钱的超低价格优惠——北京的工业电价约为这一价格的两倍,上海约为三倍。
为了解决带宽问题,鄂尔多斯承诺在2011年年内,将补贴1.2亿元,打通鄂尔多斯至北京、上海、广州的光纤网络。为招纳人才,对落户的有关高 端人才,享受不低于130平方米的住宅(5年免收租金);对工作满5年以上的人才,奖励130平方米住房一套等,对高层管理人才,每年给与不少于15万元 的津贴,并解决家属就业和子女入学等问题。
考察有时候也变成了“战争”:比如,因为上海的云计算产业基础比较好,很多地方政府都去上海考察云计算发展情况,但实际上却悄悄去接触当地的云计算企业,想招商回去。
地方官员们甚至公开比较各自的优劣:鄂尔多斯市东胜区信息化委员会主任马迎春就在公开场合表示,考虑一个地方是否适合建大型数据中心,首先,看 这里是不是地震多发地带,成都和重庆不符合这一点;从国防战略安全的角度考虑这个地方是不是适合建立数据中心,哈尔滨不符合这一要求。而且成都和有“火 炉”之称的重庆都不利于数据中心的散热。
在云跃进中,一些地产大鳄隐身其中。南京“海峡城项目”,打着的就是云城市经济和中国云谷的概念,规划总占地面积超过3平方公里、预计总建筑面积达600万平方米、总投资预期超过600亿元。
在这些强力推动下,“云”正在经历一场大跃进。
一位上海的云计算业内人士告诉南方周末记者,他曾经访问过英特尔(微博)和AMD,这两家目前一年在全球的服务器销售是210万台,其中中国市场不会超过60万台。但仅仅重庆一地的目标就是要建成30万台服务器的云计算中心。
他说,“很难想象在未来,多少年才能消化掉目前已经规划建设或者建设成的数据中心资源。”
确定与不确定的未来
尽管有诸多乱象,云依然是未来的重要发展方向。
“以园区名义的云计算,都不用去看。除了黄土还是黄土。”一位走访了全国各地云计算基地的业内人士说。
据浪潮集团对全国数十个云计算中心的调查,很多地方投巨资建成了所谓的“云”系统,资源利用效率却不足20%,云计算中心成了形象工程、参观演示中心。
其实,云是一场世界范围内的产业革命,目前各国政府都在抢占制高点。而中国出现的这种空置,既与四处的“跃进”有关,也与中国的市场需求还没起来有关。
实际上,前年运营商有过一轮大规模的规划,但实际落地的很少,项目纷纷压缩。原因是,这两年正好运营商背负节能减排的“政治任务”。
而云的市场,尚处在萌芽状态——受制于各种政策,海外企业在中国运营云服务的可能性并不大,而国内企业目前对数据中心的要求并不高,最多是弹性地使用一下,比如淘宝的光棍节活动促销,就需要处理短期暴增的数据量。
当各地正忙于“跃进”之时,有关云安全的问题,却有意无意被忽略了。
当数据信息不再锁在企业或个人自己的电脑中,而是被上传至云中时,毫无疑问更为危险。但各种安全隐患,如隐私威胁、身份冒充、信息滥用、信息窃听等问题,似乎被整个云计算圈内刻意忽视,鲜有人提及。
一位上海云计算产业基地内部人士对南方周末记者表示,应该强制性备份云计算内容的数据。一旦云计算企业出现问题,能有其他企业接续。就像银行存款准备金。同时,应该出台全国性的指引的文件,产业指引,规范目前的市场环境。
不过,尽管有诸多乱象,他依然认为云是未来的重要发展方向,需要有更多的政策指引,其中最为重要的是提升网络带宽。
这位人士举例说,他向台湾发送1.39G的照片文件,使用了上海某云计算公司的技术,花费了1小时10分钟完成上传,而台湾那边只花费了20分钟就完成下载。
他使用的带宽是4兆,这已是中国比较高的带宽水平——中国网民平均拥有的国际干线带宽却只有2.34kps,而香港网民2007年就达20kps。
关键词: 中国 互联网
QQ: 378890364 微信:wwtree(省短信费) 紧急事宜发短信到0061432027638  本站微博:http://t.qq.com/wwtree QQ群:122538123
级别: 管理员
发帖
8532
金币
2762
威望
3231
贡献值
0
元宝
0
只看该作者 沙发  发表于: 2013-07-22
云计算观察
摘要:吴朱华分析了云安全、SDN、OpenStack、Hadoop的现状以及未来的发展趋势。从云计算的技术层面来讲,整体的IaaS,PaaS和SaaS的架构已经足够清晰,但是还存在一些技术难度和争议点。
吴朱华是《云计算核心技术剖析》一书的作者,他认为,目前云计算的技术已经度过了的最初的“朦胧期”,业界已经找出一些核心的突破点,铺以重兵攻坚。但发展中也存有一些争议点,值得讨论。


核心技术难点


从云计算的技术层面来讲,整体的IaaS,SaaS和PaaS的架构已经足够清晰,但是还有几个点仍然存在一定的技术难度。


1. 云计算的安全性


安全性永远是云计算最热的话题之一,文章关注了两点:


首先是数据中心网络的安全性(可用性),最典型的例子,Amazon Web Service服务最近几次大型故障都和网络有关,特别是其基于局域网技术的云硬盘服务EBS。多位业界网络专家认为其路由器的Oversubscribe(超卖)和网络配置无法应对(比如网络控制信息方面的流量会有波动)是整个问题的关键。


其次是虚拟机本身的安全性,其实在虚拟机的发展之初,各个技术主要关注点绝对是性能,比如Xen虽然上手复杂,但是由于其本身的半虚拟化的架构,其在性能方面稍强于VMware,并拿这点作为长期的谈资。但是随着程序的优化,特别是硬件虚拟化技术的引入,在性能方面,各方面都已经接近均势,并且优化空间也不多,所以虚拟机的安全性很有可能将会作为今后的主要考量之一。


据一些行业IaaS云供应商的反馈,Xen本身有严重的漏洞,通过这个漏洞,虚拟机里面的程序可以直接攻击到物理机本身,并且KVM也有类似的问题,比如KVM直接有两个IO端口可以和QEMU通信,所以虚拟机的安全性还有待完善。


2. 数据中心大二层和SDN


很多做私有IaaS云厂商面对最大的技术挑战,基本上都是“网络难配”,主要有三个方面的原因:


现在云服务多个节点之间需要连接大量内部的通信,最明显的例子就是Hadoop,当集群大小超过千台时,网络会成为比IO更大的一个瓶颈;
虚拟机各节点只能在同一个二级网段内才能进行非常重要的动态迁移;
每个虚拟主机都会运行十个以上的虚拟机,这会导致过一个网段内实际所需要承受的机器数量和具体流量都倍增。
这些因素都导致数据中心网络从之前对外为主的南北向,慢慢转为以内部为主的东西向,同时数据中心不得不出现大二层的现象。为了解决这些问题,网络界推出了各种解决方案,包括将路由能力带到二层网络的TRILL和FabricPath,用于识别虚拟机流量的VN-Tag和VEPA,用于二层互联的VPLS和OTV。最后就是号称改变整个网络世界的SDN(软件定义网络)。这些技术的确能让现有的云服务,特别是IaaS层在技术层面有一个质的的飞跃,但是整体成熟度和成本要下降到一个让大家都满意程度,显然并非易事。


3. OpenStack完整的生态环境


2012年云计算的业界,如果说只有一个“明星”的话,那绝对是OpenStack莫属,和之前开源的CloudStack、Eucalyptus不同的是,OpenStack强调的核心是生态圈,并且它的生态圈还有两个特色,其一是模块众多,它不仅有传统用于虚拟机的模块,而且它还提供云存储模块Swift,以及用于虚拟机镜像管理的Glance,最具创新型的网络模块Quantum;其次,整个圈子里面初创公司极为活跃,不仅国外有已经被VMware以巨资收购的Nicira,国内的九州云还有UnitedStack都做的有声有色。虽然表面而言,OpenStack生态圈“歌舞升平”,但是还是存在很多隐患,最重要的就是缺乏一个领军的企业来引导,光靠一个“松耦合”的社区的确还有点难度。






蒋清野在OpenStack、OpenNebula、Eucalyptus、CloudStack社区活跃度比较中表示,OpenStack项目提交代码的人数远远超过其他三个项目,并且一直保持迅猛增长的势头。CloudStack项目提交代码的人数也有所增长,但是其增长速度较为缓慢。Eucalyptus项目和OpenNebula项目提交代码的人数相对较少,并且在过去12个月当中基本上没有增长。


4. Hadoop的生态圈的完善


虽然业界各种五花八门的Hadoop用例让人有点疑惑,但是Hadoop社区在Cloudera和Hortonworks这两大巨头的推动下,再加上类似淘宝云梯这样案例不断成熟,使Hadoop快要成为业界标准的大数据服务平台。同时由于MapReduce的编程框架,使得传统的基于关系型数据库的周边工具都无法继续使用,所以一些新的周边工具不断推出,包括用于数据流支持的Pig,用于SQL解析的Hive,用于日志收集的Flume,用于ETL的Scribe,用于实时分析的Impala等。


不过对于Hadoop这个生态圈,吴朱华也表示有些疑虑,虽然和OpenStack生态圈相比,表面上有两大巨头的支持,但这两大巨头”各怀鬼胎“,而且其整体所需要投入的工程量和OpenStack相比也是不相上下,只有两大巨头抛弃成见,齐心协力才能将Hadoop推向一个新的高度。


5. NewSQL的兴起


前几年谈及NoSQL,虽然其伸缩性不错,但因为其不支持完整SQL语句,使得其学习成本变得很高,所以吴朱华认为既能伸缩、又能支持SQL的NewSQL兴起再所必然。


大家想起的NewSQL,一定是MemSQL或者SAP HANA等这类新型的基于内存的数据库,但是其实在NewSQL方面,最强大的始作俑者绝对是研发出MapReduce的Google,虽然其最初整套用于半结构化数据解析的索引构建模块是基于MapReduce的,并且研发了著名NoSQL技术BigTable,但是随着它业务的需求和对性能等方面要求的不断提升,在技术方面,它做了优化和转型,基于现有公开的资料,主要两部分,其一在索引构建和OLTP方面,Google以BigTable为基础发展出可以对大数据集进行增量更新的Percolator系统以用于索引的构建和服务,同时也在BigTable基础上,推出用于分布式海量OLTP的Megastore和F1 Spanner,并且他们分别被用于Google App Engine的Data Store数据库服务和Google的现金牛广告服务,同时在OLAP方面,它推出有点类似MPP列式数据库的Dremel,通过Dremel这个系统能够构建有千台规模的分析集群,并能快速地对PB级别的数据进行处理。


无论是F1 Spanner还是Dremel,它们在伸缩性方面都非常不错,并且在语法上面支持一定的SQL语句,吴朱华认为它们绝对是NewSQL的典范之作。不过现在NewSQL界,真正有实力的公司和产品并没有出现。


悬念


虽然上面提到了很多关注点,但是在吴朱华看来,还是存在很多争议点,还需要进一步讨论才能分出优劣或者各自适合的场景,从而引发质的飞跃。


1. OpenStack 还是 CloudStack?


其实,OpenStack和CloudStack虽然其提供功能大体类似,但是它们在核心理念上是大相径庭。CloudStack本质是产品的思路,也就是通过这个产品能够非常快速地构建一个提供IaaS服务的私有云,并且通过其主要用户Zynga的使用来进行逐步地优化;而OpenStack则本质是一个生态圈,并且功能强大的模块有很多,但可惜实际的案例不多,特别是大规模的部署。那么到底OpenStack模式还是CloudStack模式会成为未来IaaS云计算的主流,其实很难判断,但最近一年,如果使用OpenStack来构建一个大型IaaS云,吴朱华认为至少在整体项目的技术支持上,还缺乏一个能全面理解OpenStack的团队。


2. 结构化数据,Hadoop适合吗?


首先,虽然现在Hadoop使用面很广,包括类似OLAP的结构化数据分析,但是其实Hadoop这样MapReduce的框架,最初的需求主要是用于类似网页这样的半结构化数据的处理和分析,而且MapReduce这样暴力的方式也特别适合类似地理数据和视频这样非结构化数据。同时虽然现在有类似Hive这样的解决方案,但是Hadoop在处理结构化数据时,无论是处理速度,还是处理成本,都和基于列式存储的NewSQL数据库无法接近的。


另外,虽然Cloudera推出用于准实时分析的Impala,但是由于其重写了极为耗时耗力的SQL解析引擎,所以如果等它全面支持SQL语句那天,还为时尚远。综上所述,诚然Hadoop能做对结构化数据的分析,但是否合适,这就是一个仁者见仁,智者见智的问题。


3. GAE,还是Cloud Foundry?


虽然PaaS这个名词在2012年比较沉寂,但是Cloud Foundry和GAE(Google App Engine)都有一定的进步,Cloud Foundry有了更多用户,GAE又发布了新的版本。争论的核心是Cloud Foundry和GAE在方向性上面的差别比OpenStack和CloudStack更大。


Cloud Foundry核心是快速部署,快速开发,支持各种编程模式也非常灵活。
GAE的优势是通过分布式的架构能快速伸缩,并且能够最大限度地进行超买,从而在一定用户规模的基础上实现较大的盈利,但是初期构建成本比Cloud Foundry高的多。
所以Cloud Foundry这个方案比较适合私有云,而GAE更适合公有云,具体今后的PaaS届谁会成为潮流,这个还很难说。


4. SDN有需求吗?


就像前面所说的那样,SDN是一种新兴的控制与转发分离并直接可编程的网络架构,并且号称可以改变整个网络世界。对于这种大的颠覆,首先,在技术层面,吴朱华认为是有发展的前途的,这估计也是VMware花巨资收购Nicira的原因之一。但是在实际应用方面,是否能找到“Killer App”也是核心的关键,虽然有资深专家表示网络虚拟化,安全等方面会存在这样的需求,但还是需要一定的时间来进行检验。,


5. 云计算是否需要API规范?


谈及争议点,因为在云计算API规范方面,吴朱华也是国内最早涉及的人之一,并且他非常推崇用于虚拟镜像分发的OVF规范。不过对于这个争议点,吴朱华谈到了两方面:其一,业界是否需要公共的API规范?其二,如果需要这个规范,业界会更多地采用来自专业的,经过多方流程思考的DMTF(分布式管理工作组)的规范,还是更多地借鉴一些成功产品现成的API,比如现在很多云主机服务所提供的API基本和Amazon EC2所提供的基本一致。吴朱华认为,现在还处于云计算初中期,硬推行一种规范,成本就有点高,并且有可能会阻碍创新,然而具体使用DMTF还是其他的,应该都可以。


云计算和大数据本身就是下一代的技术,能在很多方面可以解决现在用户和企业所遇到的痛点。但是如果业界没有人专注核心的技术点,并且解决某些有争议的问题,那么整体技术将会陷入不断的“Reinvent the wheel”阶段,就会驻足不前。(文/吴朱华,整理/王鹏)
QQ: 378890364 微信:wwtree(省短信费) 紧急事宜发短信到0061432027638  本站微博:http://t.qq.com/wwtree QQ群:122538123
描述
快速回复

您目前还是游客,请 登录注册
批量上传需要先选择文件,再选择上传