首页 期刊 电信科学 基于Kudu的大数据平台实时业务处理能力提升方案 【正文】

基于Kudu的大数据平台实时业务处理能力提升方案

作者:顾飞杨; 孔莹 中国电信股份有限公司上海分公司企业信息化部数据中心; 上海200042
kudu   大数据   列存储   主键索引   内存加速  

摘要:针对目前Hadoop大数据平台实时业务处理能力较差的难点,研究了国际最先进的Kudu列存储作为HDFS块存储的有效补充的理论,阐述了利用Kudu和Spark提供的主键索引和内存加速,有效解决大数据平台无法支持实时入库、增量更新和SQL关联查询等业务痛点的技术实现方法。实验效果证明了方法对提升大数据平台实时业务处理能力的作用。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅