云计算和大数据导演社会变革大戏

2015-06-24 18:06 来源:科技日报
浏览量: 收藏:0 分享

  如今,我们站在了IT产业变革的节点上,感受着巨浪的侵袭:云计算和大数据的发展促使IT产业生产力发生重大变革;生产力的变化让许多技术和模式拥有了新的血液;同时,互联网和社会也面临着重构……此时此刻,谁能看清变化趋势,谁能抓住变革先机,谁便能拥有更大的筹码。

  生产力之变革:系统架构+数据+人

  IT产业生产力变化,在百度大数据首席架构师林仕鼎看来,可以从四个时间段来分析――大型机时代、PC时代、互联网时代、云计算时代。

  “在大型机时代,硬件是主要的生产力。”林仕鼎道出了他的观察与思考,“到了PC时代,软件则成为主要生产力。” 而进入互联网时代后,IT产业生产力变为了软件+人。“一个软件开发出来后,很多工程师会去不断地升级、完善这个软件”。

  那么,云计算和大数据让生产力发生了什么样的改变?林仕鼎直言:“在云时代,IT产业生产力变革成了系统架构+数据+人。”

  云计算带来的计算、存储资源集中化效应,以及数据量的激增,都使得系统架构在IT产业发展中发挥越来越关键的作用――因为支持云计算和大数据的基础就是系统架构。大数据时代的到来,也使得数据更多地参与到了系统和各种服务的构建中。

  “在这个新的时代,软件和系统架构可被看成一整个系统,更多的人参与进来修改、维护、升级这套系统,同时,依靠海量数据来完善这个系统,提升系统性能。”林仕鼎点出了新生产力三个要素间的关系。

  以百度搜索为例,林仕鼎介绍说:“用户输入一个搜索请求,有时一开始我们很难确定在搜索结果页面,以什么样的排序呈现给用户合适。那么,我们就会分别依照一定的算法,制定两个排序方法,并在用户中,随机选5%的用户使用排序方式A,5%用户使用方式B。之后,将海量的对比结果和数据反馈回机器学习平台,去分析、挖掘相关算法的优势,进而制定出更优的排序方式,完善百度搜索系统。这样,会使用户在百度搜索中更好地获得想要的结果。”

  计算范式之变革:数据中心计算

  实际上,IT产业生产力变革也就意味着计算范式的变化。

  如前文所述,计算、存储资源集中化效应,以及海量数据的存储与处理需求,使得系统架构发挥越来越重要的地位,而这一现象也代表着计算范式的变化。“计算范式正逐步从桌面系统(即单机计算)向数据中心计算发展。”林仕鼎表示。

  范式的变化同时引发了软硬件设计原则、思路的改变――整个IT产业的技术根基都在发生着剧烈变革。

  根据林仕鼎介绍,数据中心计算与单机计算相比,在系统设计理念上的一大改变就是对容错的处理思路。“在单机设计理念中,系统一定是越可靠越好,原因很简单,你只有一台机器,坏掉就没了。所以,在设计时,要在系统里面加很多冗余信息和校验逻辑,这样在出现错误后还可恢复。在数据中心计算中,主要是分布式系统。分布式系统假设所有的设备最终都会发生故障,所以它可以容忍任意一台设备出现问题。这使得两者在系统设计上拥有很多差异”。

  另外,单机计算和数据中心计算的应用场景也不同,前者是单用户多任务,而后者则是多用户单任务,因此系统设计要更多地考虑并行性问题。百度自主研发的SSD就是这种理念下的产物。

  在传统的SSD架构中,是由一个总的SSD控制器来控制下面的Flash存储单元,这样的优势是黑箱化、层次化,不利之处是SSD往往读取较快,写入较慢,容易形成瓶颈。而百度根据应用需求,取消了SSD架构中的写缓冲、擦写平衡等复杂逻辑,大幅简化SSD控制器的设计。通过将一个大的SSD划分为N个单元,每个单元都有独立的控制器和存储单元,这些信息和控制接口暴露给上层存储系统后,形成了多个管道,并行读取、存储效率可以大幅提升。

  这种设计上的创新,使得百度自研SSD相对SATA SSD性能提升6倍成本降低10%,相对PCIE Flash性能提升2倍成本降低40%。

  社会之变革:重构互联网

  云计算和大数据已经带来了像IT生产力、计算范式、开发方式这样偏架构和技术的变革,但在林仕鼎看来,它们最大的价值在于让社会得以革新与升级。“技术只有当真正能够去改变人的生活时才会更有意义。”林仕鼎坚持着这一信条。

  而要让社会变革,就需要依靠云计算和大数据重构互联网。

  想像一下这样一个场景:当你在公司系统里确认完出差事宜,你手机上的某个订飞机航班的APP就推送给你几个符合你喜好的航班,供你选择。当你在手机上一键选择完后,相关租车APP就跳出来让你直接预约出租车,提供往返机场或异地开会时的接送服务;并且在你预定完机票后,你的手机会自动进入航空公司选座系统……

  要实现这一切,需以云计算为基础,并融合、联通来自各种渠道的海量数据。但目前的情况是,数据和资源都是分散的。“现在的互联网有很多问题,比如每个用户的数据是分散的,这些数据被割裂在不同的设备上、不同的应用间,同时,计算资源也很分散。”林仕鼎表示。

  所以,互联网需要重构。

  林仕鼎描述了重构互联网的关键:搭建统一的云操作系统。“真正的云平台实际上是一个人人共享的统一操作系统,所有数据、服务、用户的ID、业务系统本身都聚合在一个平台上,形成一个大规模、合作创新的平台。由于有了全局的数据,大数据算法可以发挥作用,这个平台在工程师和用户以及大数据的推动下不断进化,最终会变成一个超大的、囊括性的统一智能系统。这本质上就是对互联网的一次重构”。

  人与机器合一组成的这个“生命体”,实际上是把最终的结果和产生这个结果的原因连接在一起了,在林仕鼎看来,这个“生命体”将会快速进化,最终重构整个社会。

  据悉,百度也在努力地促进各种数据融合、串联起来,以推动百姓生活乃至整个社会的变革与发展。

标签:

责任编辑:管理员
在线客服