首页 期刊 科学技术创新 基于Presto海量日志分析系统的设计 【正文】

基于Presto海量日志分析系统的设计

作者:梁满; 周传生 沈阳师范大学; 辽宁沈阳110034
大数据   hive   实时查询   presto  

摘要:随着互联网的普及,互联网公司每天都会产生大量的数据信息,对于大数据的查询分析,企业主要借助Hive提供业务人员的查询,降低了大数据查询的门槛,使得业务人员可以进行数据的查询分析。但是Hive底层使用的是Map Reduce离线计算框架,适应于大数据的离线和批量计算,强调的是吞吐量而不是计算效率,不能满足业务人员对大数据快速近实时的查询需求。为了解决实时查询效率的问题,设计并实现了基于Presto的海量日志分析系统,业务人员可以实现实时的Ad-Hoc查询分析。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅