大数据时代的数据库技术应用研究

作者:蔡敏; 刊名:科学技术创新 上传者:冯建萍

【摘要】伴随着交流与通讯的日益广泛,面对海量的信息,如何对其进行有效的管理成为我们必须要思考的问题,同时这也是我们在日后生活中能够科学应用数据信息的重要前提。数据库的出现为人们有效管理数据信息提供了非常重要的技术支持。目前,数据库的应用范围越来越广,有效提高了人们的工作效率。本文通过对数据库技术及其应用的介绍,以期望能够对数据库技术应用的研究提供一定的借鉴意义。

全文阅读

大数据时代的来临,为我们带来了更为多彩的生活,其所覆盖到的范围十分广泛,涉及金融、医疗、交通、政府等行业。大数据有四个特征,也就是我们说的“4V”——Value, Volume, Vari-ety, Velocity。不得不承认的是,面对着数据容量、增速的爆炸式增长,大数据在为各行业带来洞察市场的更大机遇的同时,也同时对于我们处理数据的能力提出了一个巨大的挑战,我们如何能够在这样大体量的数据当中高效的进行正常的生活和工作而不至于被数据所吞噬。我们应该有信心能够处理好这个问题。1数据库技术数据库技术是通过研究数据库的结构、存储、设计、管理以及应用的基本理论和现实方法,并利用这些理论来实现对数据库中的数据进行处理、分析和理解的技术。数据库的应用,能够极大提高我们在大数据时代利用数据分析处理问题的能力。从这里我们能够看到,数据库是研究数据管理的一门科学,而数据库技术则是应用这门科学的手段。作为现代信息科学技术的重要组成部分,数据库技术是现代计算机进行数据处理的核心,其根本目标是要解决数据共享的问题,它为计算机中大量数据的处理提供了科学的解决方案,既能够在数据处理过程中有效地减少了数据冗余、保障了数据安全,又能在应用数据的过程中提高数据检索和处理的效率。分布式数据库:分布式数据库是在集中式数据库的基础上发展起来的,尤其适用于单位分散的部门,虽然在逻辑上它时一个统一的整体,但是在物理上它却是存储在不同的物理节点上的,可以通过网络来对不同位置上的数据库进行访问。数据库当中的数据信息并不存储在同一台计算机上,这就是分布式数据库与集中式数据库的区别所在。在集中式数据库当中,减少数据冗余是其目标之一,相比之下,分布式数据库则会通过适当增加数据冗余来提高系统的可靠性。就此我们可以看到,分布式数据库的优势在于它灵活的体系、系统有比集中式数据库更高的可靠性、更快的局部应用响应速度、较好的可扩展性。应该注意到的是,其数据的保密性和安全性会成为一个比较难以处理的问题、而且存取结构也会相对更复杂。2数据库技术应用2.1混合使用的数据库技术在数据体量还没有达到今天的这个级别时,所使用的基本上是属于SMP架构的传统关系型数据库。然而到了今天,数据的大量增长已经不适合在使用传统数据库了,因为其并不能很好的进行扩展,以至于难以处理海量数据。而且面对不同的应用场合,我们所需要的技术也会产生差异。面对事务类的应用时,因其对数据管理能力的要求低,而价值密度高,所以仍然可以使用传统的关系型数据库,基本上时行存储,且以SMP为架构的OldSQL。当所要处理的数据对数据管理能力要求再高一些且价值密度降低时,就需要使用NewSQL,这是按列进行存储的,架构扩展到了MPP分布式架构。再者,面对更高级别的分析类应用,通过对已记载的大量数据的系统性分析以求得到有力的数据支撑来帮助做出决策时,其对数据管理能力的要求很高而价值密度很低,就需要一种新型的数据库,即以SDFS分布式架构进行存储的NoSQL或是以Hadoop为基础的架构支撑大数据的应用。现今数据体量的大幅增加,所处理的数据是全量数据,所做的分析不是简单的一维分析,而是将收集到的数据源全部加载到一个平台上进行多维的综合分析。我们会倾向于以MPP为主的NewSQL数据库以及以Hadoop为主的NoSQL数据库。但是,源于数据的复杂性越来越高,我们更多的是要整合各个数据库技术的优点。传统的事务型数据库的业务逻辑复杂,适合于并发度高的事务型业务场景。MPP的数据库则适合处理TB级别的大规模的复杂数据的查询、关联分析。Hadoop NewSQL则更适合于非

参考文献

引证文献

问答

我要提问