首页 期刊 计算机技术与发展 基于MPP-Hadoop混合架构高校数据集成系统研究 【正文】

基于MPP-Hadoop混合架构高校数据集成系统研究

作者:邓涵元; 卢山; 程光 武汉邮电科学研究院; 湖北武汉430074; 南京烽火软件科技有限公司; 江苏南京210019; 东南大学; 江苏南京210019
数据集成   高校大数据   mpp   hadoop   greenplum  

摘要:随着数字化校园的建设,传统的数据集成系统在海量数据环境下数据查询和加载的效率均有所下降,且难以对非结构化、半结构化数据进行融合和分析。针对以上情况,依托高校大数据平台,从各个异构系统中抽取出数据,结合Hadoop和MPP技术的优势,设计并实现了一个基于MPP-Hadoop混合框架的高校异构数据集成系统,融合多种不同结构数据,提升了数据查询和加载的效率。以某高校为例,从学生的门禁刷卡系统和校园网系统中抽取出学生的行为轨迹数据,载入MPP数据仓库,进行数据融合,并与传统数据仓库产品Oracle搭建的现有高校数据集成系统进行数据加载和数据查询效率方面的对比评测,验证了系统的有效性并且为学生的学习生活、心理等各方面的管理工作提供一定的技术支持和指导。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅