首页 期刊 太原师范学院学报·社会科学版 大数据挖掘中的MapReduce并行聚类优化算法研究 【正文】

大数据挖掘中的MapReduce并行聚类优化算法研究

作者:林丹楠; 黄锐 福建商学院信息技术学院; 福建福州350012; 北京理工大学计算机学院; 北京100081
大数据   聚类分析   差分进化算法   数据挖掘   mapreduce  

摘要:为了有效解决云计算环境下海量数据的并行聚类问题,以典型的基于距离的Kmeans聚类算法为例,提出了一种MapReduce并行聚类优化算法.首先将差分进化算法与K-means算法相结合,从而利用差分进化算法的强大全局搜索能力克服典型K-means算法对初始中心较为敏感的缺点,利于增强全局最优解的稳定性.然后把优化后的算法在Hadoop的Map Reduce框架下做了并行化的设计.实验结果表明,与其他多种分布式设计相比,提出的并行聚类优化算法能够在保证聚类效果的前提下,大大减少了运算的时间,提高了大规模数据的聚类效率.

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅