首页 期刊 计算机工程与应用 基于Spark的电力调度数据整合模型 【正文】

基于Spark的电力调度数据整合模型

作者:曲朝阳; 陈贺新; 胡可为; 刘耀伟; 独健鸿 东北电力大学信息工程学院; 吉林吉林132012; 国网吉林省电力有限公司调控中心; 长春130000; 国网吉林省电力有限公司吉林供电公司; 吉林吉林132000; 吉林市丰满发电厂; 吉林吉林132113
电力调度中心   关联度   特征向量   数据整合   spark平台  

摘要:随着大数据理念在电力行业的应用,构建电力调度数据仓库是支撑电力调度中心统一数据平台的基础,针对电力调度中心的数据仓库将多源数据整合时面临的重复冗余和不一致问题,提出一种基于Spark的电力调度数据整合模型。设计并行化正向最大匹配去冗算法,对多个系统内冗余数据进行过滤操作;给出面向关联度的数据一致性处理方法,依据特征向量的夹角余弦值判断数据间的联系,进而对不一致数据修复。通过对某电力调度中心的数据进行整合实验,验证了该数据整合模型的可行性。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅