首页 期刊 微型电脑应用 基于自动化测试的定向网络爬虫的设计与实现 【正文】

基于自动化测试的定向网络爬虫的设计与实现

作者:朱丽英; 吴锦晶 公安部第三研究所物联网技术研发中心; 上海201204
网络爬虫   自动化测试   selenium   车辆品牌  

摘要:为了快速地获取精准的车辆品牌对应图片数据,提出了一种基于自动化测试的定向网络爬虫程序设计方法。通过自动化测试技术模拟人浏览网页的方式,自动采集指定网页的车辆品牌外观图片,按品牌、款系、年代分类别存储,引入了增量更新爬虫策略,提高了爬行效率。利用该爬虫对汽车之家产品库进行车辆品牌图片爬取,取得了较好的效果。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅