面向新闻网的智能抓取技术

来源期刊：控制工程2013年第4期

论文作者：吕振辽 翟莹莹 魏彦婧

文章页码：707 - 710

关键词：主题提取;网络爬虫;页面相关度;

摘    要：随着新闻网信息的急剧增加,研究面向新闻网的智能抓取技术变得十分必要。在基于主题网络爬虫的基础上,改进了网页与主题的相关度算法,设计出面向新闻网的智能抓取技术。按照预先确定的主题,分析超链接和刚刚抓取的网页内容,获取下一个要爬行的URL。有选择的访问新闻网上的网页和相关的链接,尽可能保证多爬行与主题相关的网页。实验结果表明,改进后的抓取技术比以往的新闻网抓取技术在性能上有较大提升,抓取准确率显著提高。