随着互联网技术的发展,桥梁结构健康系统接入的传感器的增多,带来数据的急速增长。传统的数据库已经无法满足海量数据的存储及高效查询的要求。针对智能传感器数据量大、网络访问并发性高、数据输入持久等特点,设计了分布式存储模式和特定的数据存储格式,以满足在高并发下的传感器数据跨平台存储以及快速高效查询的要求。
作者:张俊; 周新; 于素华; 高燕 期刊:《科研信息化技术与应用》 2013年第01期
社交网络和微博等新型应用对数据管理技术提出了新的挑战,如海量数据高效存储、高并发访问、高可扩展性和高可用性等。而传统的关系数据库技术无法满足这些新型应用的需求,因此,NoSQL数据管理技术的研究、开发和应用越来越受到重视。本文从NoSQL数据模型、数据存储、查询处理以及SQL与NoSQL混合数据库解决方案等方面,综述了NoSQL数据管理技术发展现状和趋势,并介绍了几种典型的NoSQL产品。
作者:张曦; 解开颜; 张欢 期刊:《社会科学动态》 2013年第23期
航空公司在销售和服务领域使用的旅客服务系统(PSS:Passenger Service System)是一个OLTP系统,不适合进行在线分析处理(OLAP)。在线分析处理功能的缺乏限制了航空公司的快速分析能力和响应速度。通过解决这个问题,不仅可以提高航空公司的分析能力,还可以提高服务质量和速度,提高航空公司的资源利用率,以及提高旅客服务满意度,这将对航空公司的综合收益产生重大影响,是目前各大航空公司的发展重点。本文探索以面向对象...
作者:秦强; 王晏民; 黄明 期刊:《北京建筑大学学报》 2015年第01期
随着科技的发展,遥感影像照片在质量及数量上急剧增加,如何安全并高效地将其存储已成为当前研究的一个热点问题.应用NoSQl非关系型数据库,提出一种基于MongoDB的遥感影像大数据的存储方法.用基于GridFS的大文件存储方式存储影像,再将其有关的属性信息以一条文档的形式插入MongoDB数据库,两者之间用相同的ID编号连接.通过与关系型数据库PostgreSQL在大文件以及传统海量文档存储方面进行性能测试比较,结果表明基于MongoDB的海量遥感...
作者:陈晓男; 张海越 期刊:《科技创新导报》 2015年第10期
大数据的存储与管理已经不能够使用传统的关系型数据库,N0SQL应运而生,它针对关系型数据库不能解决的问题,有效地管理大数据,该文对NoSQL进行了详细的介绍,并对它的优点和缺点进行了详尽的分析与阐述。
随着互联网Web2.0技术的快速发展,人们对大规模分布式服务和云计算的需求为传统的关系型数据库带来了巨大的挑战。非关系型(NoSQL)数据库打破了RDBMS的枷锁,成为互联网新潮流。在这篇文章中,我们首先介绍MongoDB数据库中自动分片的原理和实现机制,并提出了一个基于数据操作频率的改进算法,以解决自动分片中数据分布不均匀的问题。改进的平衡策略可以有效的平衡分片中的数据并提高集群的并发读写性能。
该文以大数据时代为背景,阐述了新时代对数据库技术的需求,并在此基础上,从教学内容、教学方法、评价体系等几个方面探讨了课程改革的方向,以培养满足行业、企业需求的新型数据库技术人才。大数据背景下,如何培养适应时展的数据库技术人才,满足社会发展对高质量多样化人才的需求,成为高校数据库课程教学改革的首要任务。
作者:张华兵; 林志达; 张今革 期刊:《电子技术与软件工程》 2019年第23期
No SQL数据库是在应对大数据问题过程中新发展的数据库技术。与传统关系型数据库相比No SQL数据库具有其自身独特的优势,Mongo DB是一种较流行的时序数据库,由于No SQL是新技术未形成统一的标准,因此在平台配置与数据模型设计时需要多方面考虑以适应实际的需要。
作者:张琳; 熊斯攀 期刊:《情报探索》 2018年第08期
[目的/意义]应用Neo4j探讨对大规模社交网络数据进行有效的存储和管理。[方法/过程]Neo4j是一个高性能的NoSQL数据库,支持图结构数据的存储和复杂查询。以Neo4j图形数据库为基础,采用B/S三层架构,结合PHP、H5等网络编程技术,设计并实现了Linked-US社交网络平台。[结果/结论]该平台可以更好的管理和更新社交网络数据及其内在关系,支持类似"好友的好友"等多层复杂查询。
本文对NoSQL(NotonlySQL)数据库起源进行了介绍,并对传统的关系型数据库以及NoSQL数据库的优缺点进行了比较分析。
作者:杨辉; 薛凇; 顾广隶; 周斌 期刊:《中国数字医学》 2018年第05期
目的:基于NoSQL文档型数据库MongoDB搭建了电子病历质量监控系统,并通过自动审查功能,使病历质控的效率,质量及覆盖范围得到提升,质控人员的工作量得到有效减轻。方法:定时从EMR系统中爬取电子病历相关数据导入到NoSQL文档型数据库MongoDB中,开发自动检查模块定时对MongoDB中的数据进行检查。前端基于B/S架构使用Java EE标准技术搭建Web检索系统,质控人员可浏览电子病历及检查结果并录入检查意见及打分。结果:对电子病历的一些...
文章从Web—ScaleIT的世界环境出发,简单介绍了Amazon和Twitter的架构方式和实践,分析了目前国内图书馆的困境和美国OCLC类似的成功架构模式,归纳了Web—ScaleIT的特点及优势,并基于Web—ScaleIT的理念,从基础设施、存储平台和创新应用三个层次提出重塑图书馆网络范型的策略,发挥信息知识中心的权威角色,让每一个人、每一个机构都能在图书馆的平台上有所作为。
大数据环境下,NoSQL数据库技术是传统关系数据库技术的补充,是目前IT行业的热门话题,其发展非常迅速,潜力巨大,悄然改变了整个行业的面貌。随着Web2.0技术的发展,微博、社交网络、电子商务应用功能不断壮大,数据信息呈现爆炸式增长。传统关系型数据库技术在扩展性方面存在瓶颈。NoSQL数据库技术摒弃了传统关系型数据库ACID的特性,采用分布式多节点的方式,提出新的解决方案,更加适合大数据存储和管理。
作者:施晓峰 期刊:《计算机应用与软件》 2019年第05期
随着数字档案资源体系建设的不断加快,档案数据的种类日趋丰富,数量迅猛增长,呈现出大数据的特征。传统关系型数据库与集中式存储在档案大数据处理方面存在着适应性、可靠性和扩展性不足的问题。针对当前遇到的问题,通过分析传统档案数据存储模式的局限性,将分布式NoSQL数据库、分布式文件系统、分布式搜索引擎应用于档案大数据的管理。设计一套基于分布式NoSQL数据库的档案大数据存储与检索方案,并开发原型系统进行验证。
作者:曾海峰; 王淑营; 董钦钰 期刊:《计算机应用研究》 2017年第11期
为解决关系型数据库在大数据处理中遇到的瓶颈问题,满足企业对大数据处理的需求,提出将关系型数据库迁移到NoSQL文档型数据库中。针对RDBMS中的关系模型向MongoDB中的集合模型转换方法进行了研究,提出了表示关系间参照完整性的有向图表示模型,以及基于关系型数据模型向MongoDB文档模型自动转换算法,实现了RDBMS中迁移数据到MongoDB的插入算法。针对上述方案和算法,结合典型开源RDBMS-MySQL实例,对上述关系有向图模型的生成...
现如今,数字化存储和智能终端设备已贯穿于人们日常生活中。在云计算、互联网以及物联网取得快速发展之后,大数据显然成为最新的发展核心。然而,与之对应的隐私保护和数据安全等方面的问题却成为其快速发展的阻碍。基于此,笔者着重探讨了大数据的基本特征,明确其安全领域的基本内容,随后针对安全保障技术总结出高效可行的解决方案。
作者:曾伟忠 期刊:《计算机与数字工程》 2018年第05期
针对现有数据库系统在处理包含大量非结构化的通信数据表现出效率不高的问题,论文设计和实现了一种基于MongoDB数据库集群技术的海量数据管理平台。该平台针对通信数据具有的规模大、类型多样、关联性弱和附加价值高等特点,采用了Mongo数据库集群技术、故障转移技术和负载均衡等技术,为海量通信数据的管理提高了可靠、高效的集群存储环境。测试表明,该平台在多种操作场景下都有优异的海量通信数据存储和处理的性能表现。
作者:屠要峰; 刘辉; 张国良; 刘春 期刊:《计算机科学》 2018年第05期
分布式缓存作为处理海量数据的关键技术方案,近年来被广泛关注和应用。通过分析业界分布式缓存的现状和缺陷,提出了一种分布式缓存系统架构。在此基础上,深入阐述了其关键技术原理,研发并实现了新一代的分布式缓存系统DCACHE。最后,在融合通信(RCS)业务应用中对DCACHE进行了分析和验证。
作者:马文龙; 朱妤晴; 蒋德钧; 熊劲; 张立新; 孟潇; 包云岗 期刊:《计算机学报》 2018年第08期
NoSQL系统因其高性能、高可扩展性的优势在大数据管理中得到广泛应用,而key-value(KV)模型则是NoSQL系统中使用最广泛的一种存储模型.KV型本地存储系统对于以机械磁盘为持久化存储的情形,存在许多性能优化技术,但这些优化技术面对当前的硬件发展新趋势,如多核处理器、大内存和低延迟闪存、非易失性内存NVM(Non-Volatile Memory) 等,难以充分发挥新硬件的优势,如数据索引、并发控制、事务日志管理等技术在多核架构下存在...