首页 期刊 计算机应用与软件 可扩展的流数据Join处理框架 【正文】

可扩展的流数据Join处理框架

作者:赛影辉; 黄浩 奇瑞汽车股份有限公司; 安徽芜湖241006; 武汉大学计算机学院; 湖北武汉430072
连接操作   流数据   查询   分布式环境   优化  

摘要:在流数据查询过程中,join操作非常重要。单个输入流对上常有多流查询,导致了并发的数据join任务。这造成了更久的join有效时间(join window)和更大的数据流输入率,使得join操作的工作量增加。我们迫切需要一个通用(用途无关)且能高效处理多并发join任务的流数据处理机制。为此提出一个可扩展的流数据join处理框架S2J,此框架采用了数据流导向的处理模型,并将整个join操作分解为适当个数的串联的join处理单元,同时采用基于元组块的信息传输协议减少信息传输中的过载现象。该框架能有效处理θ-join,并保证join操作的实时性和结果完整性。大量实验证明了该框架的高效性和有效性。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅