首页 期刊 科技广场 基于Webdriver爬虫技术的研究 【正文】

基于Webdriver爬虫技术的研究

作者:贺杰 江西财经大学软件与通信学院; 江西南昌330013
webdriver   爬虫   web网页  

摘要:本文提出基于Webdriver测试工具的爬虫程序实现,通过实例化一个浏览器再通过代码自动控制其浏览网页实现对网站数据的爬取.通过实现点击事件方法可以很好地解决传统爬虫技术中Ajax网站动态加载引起的数据丢失问题.最后以新闻网站为例,实现了本文所设计的爬虫程序.

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅