首页 期刊 中国管理信息化 网络数据采集框架Nutch及其应用研究 【正文】

网络数据采集框架Nutch及其应用研究

作者:周飚 重庆财经职业学院; 重庆402160
nutch   分布式   爬虫框架   crawler   quartz排程  

摘要:随着大数据与云计算、物联网、人工智能进一步融合,各行各业产生了海量电子化数据,建立大数据应用首要解决的问题就是采集数据,其中,Apache Nutch是用于数据采集的爬虫框架。为采集若干人才招聘网站职位需求数据,采用MySQL数据库进行数据存储,采用Nutch实现网站数据采集,采用排程框架Quartz实现数据定时采集和更新。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅