Big data: the driver for innovation in databases

计算机科学与技术的发展使得大规模信息处理基础设施产生重要改变。在过去的30年中，经典的数据库管理系统（DBMS）在处理大规模数据方面与时俱进，在企业数据处理等方面得到广泛应用。数据库研究和技术进展主要集中在数据建模、描述性查询语言、事务处理和数据库可靠性等。在这个过程中，相关的数据仓库和数据挖掘分析技术也成为一个热点研究方向；人们认识到数据处理过程中的信息可以被有效整理和分析来支持以数据为中心的决策支持。 数据库管理系统在目前的互联网时代继续占据了重要地位。在一个典型的互联网服务系统架构中，数据库管理系统和Web服务器及应用服务共同作用，为互联网用户提供各类信息和服务。在这个系统架构中，人们期望系统能支持无限次和高速的互联网用户访问，这个时候数据库层由于在硬件可扩展性上面的不足可能成为系统性能瓶颈。这个挑战我们称为大数据问题（big data problem）。大数据系统期望能对大规模异构复杂数据建模，进行实时分析；传统的商用数据库系统很难提供良好的解决方案。另一个大数据相关的挑战是服务器端数据中心的数据维护及安全隐私问题。近年来云计算技术已经成为大数据中心的一种可靠解决方案，Google, Yahoo and Microsoft等公司也纷纷开发自己的云计算系统。尽管云计算在互联网应用中已经体现出很多优越性，其在系统成熟性、可用性等方面还有很大提高空间。 显而易见，大数据领域的大规模数据管理和复杂数据分析已经成为新的研究前沿。目前的各类大数据应用正是大数据研究的驱动力，比如社会网络、移动计算、科学应用等等。这些应用产生的大数据往往具有海量、时序动态性、多样等特性，给数据库领域的各项技术带来巨大挑战，涵盖包括数据获取、组织管理、分析处理和应用呈现等整个数据管理生命周期。针对数据管理和分析不同系统应用，各类大数据处理技术在也不断发展。MapReduce作为一种分布式的数据处理框架由于其灵活性、可扩展性、高效和容错等特性其近年来得到了广泛应用。此外，也有多类其他分布式数据处理系统用来解决MapReduce不擅长的问题，比如交互式分析、图计算和分析、实时和流处理、通用数据处理等等。大数据不但给数据库研究领域，同时也给体系结构、存储系统、系统软件和软件工程等计算机多个学科带来了很多机会和挑战。大数据正是目前很多计算机科学问题的根本，并驱动众多新科技的发展。