一种多源统一爬虫框架的设计与实现

来源期刊：软件工程2021年第4期

论文作者：潘洪涛

文章页码：30 - 33

关键词：Python开发;网络爬虫;浏览器行为;HTTP请求;

摘    要：面向深层网数据的爬虫技术与反爬虫技术之间的对抗随着网站技术、大数据、异步传输等技术的发展而呈现此消彼长的趋势。综合对比当前主流的爬虫和反爬虫技术,针对高效开发、快速爬取的需求,MUCrawler（多源统一爬虫框架）被设计成一种可以面向多个网站数据源,以统一的接口形式提供爬虫开发的Python框架。测试结果显示,该框架不但能够突破不同的反爬虫技术获取网站数据,在开发效率、鲁棒性和爬取效率等方面也体现出较好的运行效果。