基于中文标点符号的三重网页文本内容识别及过滤方法（专利号：2007100110571）

摘要：

    一种基于中文标点符号的三重网页文本内容识别及过滤方法。该方法针对现有的基于URL、基于关键字的网页信息过滤方法中存在的滤准率和滤全率低的问题，提出了一种复合型的基于URL、基于关键字、以及基于文本向量空间知识表示方法的网页文本内容过滤方法。采用基于黑白名单的URL地址过滤方法；采用中文标点符号的统计特征来有效地去除导航信息、相关链接信息、广告链接信息、版权信息等网页内容噪声信息，提取文本内容；采用向量空间模型进行文本知识表示，通过计算文本向量与不良信息模版中特征向量间的夹角余弦，与设定的阈值相比较，确定文本所属类别。该发明可广泛地应用于网络不良信息的过滤及网页个性化信息服务领域。