新闻正文信息在线提取方法研究

　　1系统概述

　　本系统总体分为3部分：预处理模块（Pretreatment）、动态型网页信息抽取模块（Dywebextract）、新闻普通网页信息抽取模块（Stwebextract）。系统总体框架如图1所示。 预处理模块（Pretreatment）：Pretreatment模块是正文信息提取预处理模块，可提前获取新闻标题、发布时间等信息；对不同的新闻网页进行分类，对于动态型网页则采用动态型网页抽取模块，对于新闻普通网页则采用静态型网页信息抽取模块。 动态型网页信息抽取模块（Dywebextract）：该模块的主要功能是对新闻图片网页进行解析、识别翻页符和获取正文信息。 新闻普通网页信息抽取模块（Stwebextract）：该模块是对普通新闻网页进行解析，其基于行分块分布算法来提取正文信息，通过中文语法规范来减少噪声。

　　2各模块算法设计与实现

　　2.1预处理模块 在新闻正文信息抽取系统中，为保证新闻正文信息的抽取质量和抽取效率，在抽取相关信息时应按照网页类型采用不同的抽取方法（即大部分新闻图片网页采用动态抽取方法，新闻普通网页采用行块分布方法）。由此可以看出，在抽取信息之前应对网页进行分类，根据抽取目的，采用预处理模块完成新闻网页分类工作。又由于行块分布算法不依赖于网页结构本身，对于新闻标题等信息提取明显不足，因此需要在预处理模块中利用DOM技术提取新闻标题、发布时间等信息，并将新闻标题、新闻网页HTML文档、新闻URL等信息打包分别传给下级模块。因此，预处理模块的功能是网页分类和利用文档对象模型提取新闻标题等信息。 　　2.1.1Web新闻分类 新闻网页一般分为两种类型：导航型网页、主题型网页。主题型网页通常通过成段的文字、图片等信息描述新闻主题，为了便于处理又可将其分为两小类：①新闻普通网页。这类网页类似静态网页，当网页加载完之后，要采集的信息都在网页上，大部分新闻网页属于这一类；②动态型网页。即图片新闻（指有相同事件主题的图片及简短文字描述的数据集合），当网页加载完之后，要采集的信息不都在网页中，需要翻页才能更新网页内容，大量新闻图片网页属于这一类，如图2所示。 通常，网络上的每一种资源，例如网页、图片、视频等，都有一个唯一的URL，其信息包含了文件位置和浏览器对其如何处理。URL的一般格式为：协议类型：//服务器地址（一般情况下，默认不写端口号）/路径名/[？查询][#信息片段]，其中方括号[]为可选项，例如：http：//news.qq.com/a/20160714/048155.htm#p=1 通过观察验证，属于同一新闻网站动态网页的内容布局与样式外观比较相似。与此同时，同一网站的动态网页的URL相似度也高，这一点从网页开发和网站管理的高效性和便捷而言也是十分合理的，因此利用URL相似度进行新闻网页分类。Qi等

　　[9]在计算URL相似度上使用了Dice系数并结合使用了统计方法完成URL的相似度量。这种方法从字符串处理的角度出发，又由于URL的格式特点，在协议、服务器名、域名相同的情况下，本文利用新闻URL特征来判断动态型网页，详细介绍如下：①若新闻url字符串中，其路径中包含有“pic”、“photo”等关于图片的英文字符串，则表示该新闻URL为动态型网页。例如：人民网、新华网等网站中的URL包含这些关于图片的字符串；②若新闻url其后缀符合数字递增或字母递增，则该新闻网页是动态型网页，例如：腾讯、新浪、搜狐、网易、凤凰等网站中的URL后缀有极强的规律，为数字递增。2.1.2〓文档对象模型 文档对象模型（DOM）是一种处理HTML和 XML文档的标准应用程序接口（API），它将文档表示为一个树形结构，HTML标签、属性或文本都被作为树的一个节点。基于DOM的信息抽取技术利用网页的结构特点，能够简单、高效地从网页中提取所需内容，其克服了行分块算法对新闻标题、发布时间等信息提取不足的缺点。因此本文在正文信息抽取之前，使用HtmlUnit

　　[10]渲染新闻网页获取HTML源码，然后使用Jsoup中的DOM对象抽取新闻标题、发布时间等信息。例如：新闻标题抽取时，首先提取标签中的