作者:徐旭; 郭权利; 田硕; 姜旭; 王彦宇 期刊:《电子世界》 2019年第23期
基于大数据在微电网系统中的应用,结合理论和实践研究将大数据技术应用到微电网系统调度中.首要简述现有的大数据技术在微电网系统调度中的应用前景,以及目前大数据在微电网调度应用中存在的问题,提出具体的解决方案,进而高效率高精度的解决该问题.本文提出了结合数据的特点和应用需求,再对其进行松耦合架构处理,主要技术包括:流数据、数据库的信息采集,数据存储中的分布式数据库、关系数据库存储,数据处理、数据分析挖掘等,最后进...
从十月的客流数据可看出:1、总体而言,运营线网规模较大、轨道出行通达性更好、开通运营时间更长的城市,比如北京、上海等,工作日客流远高于休息日,说明其通勤客流比例高,乘客的忠诚度高、对地铁的依赖程度高.
科学家发现撞沉泰坦尼克号、致使1517人丧生的冰山距今已有10万年的历史。科学家经过追踪调查巨型冰山的起源,反复检查和对比洋流数据,并仔细参照1912年泰坦尼克号沉船中幸存目击者的描述,揭开了这一惊人发现。经过长时间缜密的研究,科学家证实该冰山起源于格陵兰岛西南海岸的一条冰川,而这条冰川是由10万年前的积雪形成的。
作者:刁建华; 赵晓艳; 杨涛; 关菁华 期刊:《中国高新科技》 2018年第09期
HTM网络适用于建模和学习数据之间的空间和时间关系,能够提供准确的检测结果.针对HTM网络实时处理庞大的、快速的、不间断生成的流数据问题,文章提出了一个新的节点类型.新节点由一个空间池、一个时间池、一个监督分类器和一个特殊的循环队列组成.基于新节点构建的HTM网络既能支持连续多时间段的检测,又能实时处理庞大的流数据.模拟试验结果表明,文章提出的新节点构成的HTM网络在实时连续多时间段检测的同时能够有效解决庞大的数据...
作者:赵立新 期刊:《计算机产品与流通》 2019年第01期
流数据在这几年已经渐渐成为了主流数据的一种。生活上的流数据也是随处可见的,比如股票数据、网络入侵监测过程中反馈的数据都是属于流数据的一种。下文介绍了流数据聚类算法和传统数据聚类算法的差异性,如何去研究和分析差异性采样下的流数据聚类算法分析,以及阐述流数据聚类算法当中应用群智能所带来的效果。
作者:阳生云; 韩伟红 期刊:《网络空间安全》 2015年第04期
随着电子商务的深入发展,基于虚拟资产用户操作数据流立方体的构建技术成为了当前研究热点。文章针对虚拟资产用户操作数据流的特点,首先对数据流进行分组操作,并从中抽取属性集和操作序列集,然后构建流立方体模型。在流立方体构建中采用多路聚集算法,提高聚集性能。在真实数据集上进行实验测试表明,该模型能有效提高异常操作追溯性能。
本文通过浅析客服管理信息系统的需求,通过UML系统进行建模,采用.net作为开发平台,实现了B/S的三层架构的客服管理信息系统。在设计过程主要有建模设计、数据库设计和架构设计。
为智慧城市应用创造价值(博主立得空间CEO郭晟) 又来腾迅,但这次不为参观,而是合作。希望微信+QQ的10多亿动态人流数据能与"我秀中国"网站的高精度地图数据相结合,展现真正意义上的"时空大数据一张图",为城市管理、交通、公安、旅游、新零售、新物流、商业地产等智慧城市应用创造价值!
作者:陆妍玲; 李景文; 叶苏娴; 姜建武; 殷敏; 周艳柳 期刊:《测绘通报》 2018年第08期
针对大数据GIS面临的大规模数据的多源异构动态性与数据存储优化等问题,本文开展大数据背景下的地理时空数据组织与模型研究,提出了一种基于流数据的可扩展立方体处理框架,在典型的流数据二维数据序列基础上,构建增加垂直方向的非结构数据立方体;结合立方体数据组织模型的定义和特征,探讨扩展关系型数据库与协同非关系型数据库的GIS时空大数据组织方法;通过扩展数据源、数据类型及数据操作等属性,突出多源异构地理时空大数据的时空...
作者:刘丽 期刊:《连云港职业技术学院学报》 2005年第02期
决策树分类器是一个重要的数据挖掘问题,在数据流上建立决策树的关键问题是如何计算内部节点的最佳分裂标准.现有的算法有的不能处理数值型的属性,有的计算代价太高.本文采用将数值型的属性值分成适当的区间,根据它们gini index值的特殊性质,确定具有最大gini index梯度的区间,因而可以快速地计算最佳分裂点,实现在流数据上快速地建立决策树.
我从2000年开始接触物流行业,到现在已经17年了,经历了物流发展的三个阶段,从最早的技术物流,到信息化物流再到现在的科技物流。我国物流发展的速度很快,尤其是2014年以后,每天都被不同的信息冲击,现在物流已经进入到一个新的格局,竞争的主体不仅仅是传统的物流人,还有越来越多的科技公司、
作者:杨文; 林峰; 周际 期刊:《程序员》 2013年第02期
大数据处理:批量数据处理和流数据处理 Hadoop家族在大数据处理方面的能力已经得到业界认可,但它更适用于对集群上的大数据进行批量处理,并不适用于实时处理大规模流数据。
作者:赛影辉; 黄浩 期刊:《计算机应用与软件》 2018年第04期
在流数据查询过程中,join操作非常重要。单个输入流对上常有多流查询,导致了并发的数据join任务。这造成了更久的join有效时间(join window)和更大的数据流输入率,使得join操作的工作量增加。我们迫切需要一个通用(用途无关)且能高效处理多并发join任务的流数据处理机制。为此提出一个可扩展的流数据join处理框架S2J,此框架采用了数据流导向的处理模型,并将整个join操作分解为适当个数的串联的join处理单元,同时采用基于元组块的信...
作者:柳春雷; 谢冬青; 秦大力 期刊:《计算机应用研究》 2005年第04期
针对流式数据实时性要求和传输中易丢包的特点,重点分析了Golle增强链流式数据签名方案,基于Gilbert-Elliot网络通道模型,提出了Hash值前置的星-链型流式数据签名验证方案.该方案在发送方预先缓存流序列,可灵活地构建签名链;新方案比Golle增强链方案节省资源,扩大了接收范围,杜绝了拒绝服务攻击,降低了断链损失.
作者:金澈清; 钱卫宁; 周傲英 期刊:《软件学报》 2004年第08期
有关流数据分析与管理的研究是目前国际数据库研究领域的一个热点.在过去30多年中,尽管传统数据库技术发展迅速且得到了广泛应用,但是它不能够处理在诸如网络路由、传感器网络、股票分析等应用中所生成的一种新型数据,即流数据.流数据的特点是数据持续到达,且速度快、规模宏大;其研究核心是设计高效的单遍数据集扫描算法,在一个远小于数据规模的内存空间里不断更新一个代表数据集的结构--概要数据结构,使得在任何时候都能够根据这...
作者:卫凤林; 李莹; 张展新 期刊:《信息技术与标准化》 2016年第06期
介绍了提案提出的背景和ISO/IEC SQL标准现状。重点对标准提案中的Map Reduce和流数据处理的关系、SQL标准为何要支持Map Reduce、SQL标准支持流数据的应用场景、需要在SQL标准中扩展的功能等内容进行分析;并阐述该提案对大数据产业发展的重要意义。
作者:李丽娜; 魏晓辉; 李翔; 王兴旺 期刊:《计算机学报》 2018年第10期
在分布式并行数据流处理中,面向实时变化且具有突发性的流数据负载,固定的资源分配将造成资源浪费或服务质量降低,因此,可伸缩的弹性资源分配是一个亟待解决的关键问题.然而,由于资源分配延迟和负载预测模型存在误差,已有的弹性资源分配策略无法准确地提供与突发负载相匹配的资源,且存在不必要的资源调整反复,增加了系统开销.该文主要解决弹性资源分配的调整延迟和调整颠簸问题.针对上述问题,主要的挑战在于突发负载的准...
随着电商及跨境电商的蓬勃发展以及智慧物流概念的提出,物流数据的规模变得越来越大,其价值也越来越大。规模庞大的物流信息通过数模工具落地到网络上便捷了消费者,使得物流运输更直观;也使物流公司能够更好的管理各个环节。但另一方面如何快速读写物流信息也成为了智慧物流的一个重要问题。一致性hash算法在分布式存储中有着极为广泛的应用,它的典型特点是能够改善增加或减少节点时的数据迁移。本文介绍了应用一致性hash算法在分...
作者:程玉胜; 李雨; 王一宾; 陈飞 期刊:《南京大学学报·自然科学》 2018年第05期
特征选择是解决数据高维性的一种有效方法,传统的特征选择算法常用经典信息论知识去度量特征的重要度,却忽略了标记和未标记数据的互相影响;同时,这些方法主要基于静态数据的多标记特征选择,很难直接应用到动态流数据环境中.而现实世界中,由于动态环境之下特征到达的数目和顺序都是未知的,并且研究者往往可能只对最近到达的特征感兴趣,所以滑动窗口机制能很好地解决此类问题.基于此,首先引入一种具有补性质的模糊信息熵,并考虑标记...
作者:刘佳; 刘国华; 宋驰 期刊:《计算机工程》 2005年第08期
提出了一个流查询处理方案,同时满足普通用户和高级用户(有计算机语言基础),并从几个重要的指标来阐述如何提高查询效率,减少系统瓶颈,并在原型系统中得到了验证.