首页 期刊 南京邮电大学学报·自然科学版 HOS:一种基于HBase的分布式存储系统设计与实现 【正文】

HOS:一种基于HBase的分布式存储系统设计与实现

作者:季一木; 张宁; 尧海昌; 李奎; 李航; 刘尚东; 王汝传 南京邮电大学计算机学院; 江苏南京210023; 南京邮电大学江苏省无线传感网高技术研究重点实验室; 江苏南京210023; 南京邮电大学高性能计算与大数据处理研究所; 江苏南京210023; 南京邮电大学高性能计算与智能处理工程研究中心; 江苏南京210023
hbase   查询处理   分层式索引   分布式存储  

摘要:大数据时代,数据快速增长,迫切需要寻找有效的数据存储方案,HBase系统具有分布式、列式存储的特点,为大数据的存储管理提供了一种高效的解决方案。由于HBase只支持主键索引,对于非主键查询效率低下,难以满足实时需求。为此,提出一种分层式索引查询模型,该模型基于HBase建立持久性索引层,基于Redis建立分布式热点索引缓存层。前者为存储在HBase中的数据建立索引表,提高查询效率,后者基于Redis在内存中存储热点索引,降低磁盘访问开销,进一步提高查询效率。最终,依据此模型实现了分层式索引查询系统HOS,基于Imagenet图片数据集对HOS进行实验,实验结果表明,HOS数据查询性能优于标准HBase。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅