随着计算机技术快速展及其普遍应用,视频数据客量也展示出几何级数增长的发展状态。而如何在海量视频图像检索系统内快速检索所需要的片段及视频信息,成为研究的热点问题。本文研究中,以公安部门视频监控系统为研究对象,针对海量的视频数据车,提出依托Map/Reduce分布式计算模型和关键帧算法相结合的方式,这种方法下仅可以提升检索效率,也能大大提高检索准确率,以期为类似研究提供一定的参考。
作者:刘继华; 强彦 期刊:《科技通报》 2016年第12期
如何进行云计算下的数据挖掘一直以来都是研究的重点,本文针对传统挖掘算法K-meas的不足,提出基于数据采样和分布密度的改进方法来获取算法的中心点,在聚类中构造函数提高了聚类效果,并对云计算下的Map/Reduce模型进行了函数改进,仿真实验通过对不同的数据集进行实验,从聚类分析比较,系统运行时间,加速比等方面说明了本文的算法适合在云计算下的数据挖掘具有一定的优越性。
作者:遆鸣 陈俊杰 强彦 期刊:《计算机工程》 2012年第19期
在计算能力作业调度算法的基础上,提出一种基于模拟退火的Map Reduce作业调度算法。利用带记忆功能的模拟退火算法选择最优作业,从而避免陷入局部最优解。在Hadoop平台上的实验结果表明,该算法能减少所有作业的运行时间以及每个作业的等待响应时间,具有较高的作业调度效率及用户满意度。
作者:刘栋 尉永清 薛文娟 期刊:《计算机工程》 2012年第15期
传统数据挖掘算法在处理海量数据集时计算能力有限。为解决该问题,提出一种基于Map Reduce的分布式序列模式挖掘算法MR PrefixSpan。在PrefixSpan算法的基础上,对模式挖掘任务进行分割,利用Map函数处理由不同前缀得到的序列模式,并行构造投影数据库,从而提高挖掘效率及简化搜索空间。采用Reduce函数对中间结果进行规约,得到全局序列模式。在Hadoop集群上的实验结果表明,MR PrefixSpan能减少数据库扫描时间,具有较高的并行加速比和...
作者:曲广龙 杨洪耕 张逸 期刊:《电网技术》 2014年第06期
针对现有方案对电能质量监测系统中海量PQDIF文件解析效率低、解析时间长等问题,研究实现了一种基于集群计算架构的海量PQDIF文件快速解析方案.通过Map-Reduce模型来实现海量PQDIF文件的快速并行解析.Map-Reduce模型将数据集的大规模操作任务拆分成若干子任务分配给网络上的每一个计算节点(如PC机),实现多计算节点共同协调处理任务,达到提高运行效率的目的.方案采用Java和C++编写,在异构平台间具有较强的可移植性,并且可以通过...
作者:蔡涛 倪晓蓉 王伟生 牛德姣 期刊:《计算机工程》 2015年第09期
筛选成熟检测器是决定人工免疫系统性能和效率的关键因素,在大数据环境下由于初始检测器的数量极其庞大,会造成现有检测器筛选算法时间开销过大。针对该问题,提出一种新的海量初始检测器快速筛选算法。设计海量初始检测器的分布存储模式,利用Map/Reduce模型,给出混合式初始检测器快速筛选架构、海量初始检测器分区检查策略和成熟检测器集优化策略,以提高筛选初始检测器的效率,优化成熟检测器。在Hadoop集群中实现面向大数...