文本分析,数据处理

文本分类中特征选择算法的分析与研究

自动文本分类是对大量的半结构化、无结构化的未知类别文本(文本文档、网页等)按照给定的分类体系,根据文本内容划分到指定的类别中的过程。由于文本数据的半结构化、无结构化的特点,当文本使用特征向量表示的时候,特征向量通常会达到几万维甚至于几十万维,给文本分类带来了很不利的影响。如果直接在这样一个高维特征空间上进行分类器的训练和分类,会带来两个问题:一是很多低维空间具有良好性能的统计分类器在计算上变得低效不可行;二是训练样本(训练文本集的个数)一定的前提下,过多的特征使得样本统计的估计变得非常困难,从而降低统计分类器的推广能力和泛化能力,呈现所谓的"过学习"或"过训练"的现象。因此寻求一种有效的维数约简方法,降低特征空间的维数,提高分类的效率和精度,成为文本自动分类中至关重要的问题。 维数约简是将高维空间映射到一个小得多的低维空间,同时希望该低维空间一方面能尽可能多的保留原始数据中的重要信息,另一方面又能有效地把原始信息中的噪音、冗余数据过滤掉。维数约简技术分为两类,分别是特征选择、特征重构。特征选择是依据某个准则在原始特征集合中挑选出有利于学习算法的特征,去掉那些冗余的、与类别不相关的特征。特征重构是由原始特征集合创建新的特征集合,使得新创建的特征集合远远小于原始的特征集合。由于特征选择具有速度快,适合处理于大规模数据集的特点,因此本文主要在特征选择方面开展了一些工作,提出了两种特征选择算法:基于互信息的相关性特征选择方法和基于关联分析的特征选择方法。 基于互信息的相关性特征选择方法不仅计算了特征与类别的相关度,也考虑了特征之间的相关度。文中采用了改进后的互信息来最为相关性的量化指标来衡量特征与特征、特征与类别间的相关性,从而在最大程度保留原始空间信息的目的下,尽可能地剔除掉不相关的、冗余的特征。在试验中将文本分类中常用的特征选择方法IG、CHI作为参照的基准,从实验结果中可以看到我们提出的算法是很有效的一种特征选择方法。 基于关联分析的特征选择方法主要考虑了特征之间存在的关联关系,传统的特征选择算法则没有考虑这样的联系。算法首先对特征词之间的关联关系进行挖掘,找出那些对类别有重要影响的特征词组,这些特征词组中的每个单词在传统单独打分策略的特征选择算法中很可能会因分值过低而被丢弃;然后根据这样的关联词组对已打分排序的特征集合重新排序,使得对分类具有重要影响的特征不会因低估而被丢弃。在Ruters21578、20Newsgroup文本数据集上的实验结果表明该方法是一种有特点、有效的特征选择方法。

基于文本的聚类算法研究毕业设计

聚类作为一种知识发现的重要方法,它广泛地与中文信息处理技术相结合,应用于网络信息处理中以满足用户快捷地从互联网获得自己需要的信息资源。文本聚类是聚类问题在文本挖掘中的有效应用,它根据文本数据的不同特征,按照文本间的相似性,将其分为不同的文本簇。其目的是要使同一类别的文本间的相似度尽可能大,而不同类别的文本间的相似度尽可能的小。整个聚类过程无需指导,事先对数据结构未知,是一种典型的无监督分类。%20本文首先介绍了文本聚类的相关的技术,包括文本聚类的过程,文本表示模型,相似度计算及常见聚类算法。本文主要研究的聚类主要方法是k-均值和SOM算法,介绍了两种算法的基本思想和实现步骤,并分析两种算法的聚类效果。同时介绍了两种算法的改进算法。

机器学习算法在文本分析中的研究

随着互联网信息资源的指数增长,如何实现海量文本数据的自动分析已成为日益紧迫的研究课题。近年来,作为文本自动分析的重要手段,文本聚类及热点信息发现逐渐受到研究者的重视。对互联网信息的聚类处理使人们可以从总体上了解信息主题的分布,并根据特定兴趣选择不同主题的文本进行浏览;对互联网热点信息的自动发现使用户更容易了解不同类别中最受关注的焦点。 本文关注于文本聚类算法和热点信息发现算法的改进和高效实现,以期在海量数据和工程化环境中有效推动文本自动分析技术的实用化。首先,针对K-Means算法的聚类结果严重依赖于初始中心点的特性,本文在K-Means算法中引入了具有优化近似因子的delta近似K-Center算法,构造了改进的聚类算法KWOC(K-Means With Optimized Centers),用以实现更有效的初始中心点选择。实验表明KWOC可显著提高最终聚类结果的鲁棒性。在KWOC的具体实现中,本文创新性地设计了针对性较强的事务性文件系统,实现了K-Center中间计算结果的高效缓存,在文件层面实现K-Center与K-Means的计算结果共享。该方案显著降低KWOC算法的时间开销。 其次,为了有效挖掘海量Web数据中的热点信息,设计了一种新颖的Web热点信息发现算法。该算法以分阶段的串频变化量统计矩阵为基础,结合串频变化的历史波动,得出有效的热点信息串的评价指标,并根据由该指标选中的热点信息串最终完成热点文章的甄选工作。该算法的具体实现同样利用了有针对性的事务性文件系统,因而具有较高的时间效率。 最后,论文给出了针对上述聚类及热点信息发现算法的事务性文件系统的设计方案及实现方法,该事务性文件系统基于一致性哈希理论,以高速的散列文件为基础高效地实现了算法运行中计算结果共享,有效地把计算依赖转化为事务依赖,在事务重建理论框架下为算法的可靠性提供了有力保障。 实验表明,本文提出聚类算法、热点算法及其系统方案实现具有良好的性能和效率,可以适应于实际工程环境下的海量数据应用。

关联分析之Apriori算法

https://blog.csdn.net/rongyongfeikai2/article/details/40457827

文本图像处理算法研究

http://www.docin.com/p-1393136501.html

深度学习算法哪些适用于文本处理?

https://www.zhihu.com/question/29910333

w2v

https://www.zhihu.com/collection/92027159


新加评论 评论标题:

文本分类中特征选择算法的分析与研究
基于文本的聚类算法研究毕业设计
机器学习算法在文本分析中的研究
关联分析之Ariori算法
文本图像处理算法研究
深度学习算法哪些适用于文本处理?
w2v