本挖掘典型地运用了机器学习技术，例如聚类，分类，关联规则，和预测建模。这些技术揭示潜在内容中的意义和关系。文本发掘应用于诸如竞争情报，生命科学，客户呼声，媒体和出版，法律和税收，法律实施，情感分析和趋势识别。

在本篇博客帖中，你将会学习到如何将机器学习技术应用到文本挖掘中。我将会向你展示如何使用RapidMiner（一款流行的预测分析开源工具）和亚马逊S3业务来创建一个文件挖掘应用。亚马逊S3业务是一项易用的存储服务，可使组织在网页上的任何地方存储和检索任意数量的数据。

掘模型产生的结果可以得到持续的推导并应用于解决特定问题

为什么使用文本挖掘技术？

文本挖掘技术帮助你在大量的肉眼不可见的文本内容中隐藏的文本模式和关系，带来了新的商机和进程的改进。使用文本挖掘技术可以节省你的时间和资源，，因为文本挖掘进程可以实现自动化，文本挖掘模型产生的结果可以得到持续的推导并应用于解决特定问题。

这些技术可以帮助你：

从大量的文本内容中提取关键概念，文本模式和关系。

以主题（例如旅行和娱乐）为依据，在文本内容中识别各种趋势，以便理解用户情感。

从文档中概括内容，从语义上理解潜在内容。

索引和搜索文本以便在预测分析中使用。

正如你所看到的，除了事务性内容外，如果你不分析文本内容，你可能错失重大的机遇.

以前文本挖掘所面临的障碍

在过去，从大量的文本中提取有价值的透彻分析通常很难。提取有价值的透彻分析需要技艺精湛的IT人才来执行复杂的编程和建模任务。另外，在维持性能和创新周期所要求的速度和灵敏度的条件下，所具有的基础设施简直无法满足处理大量非结构化文本的要求。工具与潜在基础设施的集成则是面临的另一个挑战。这通常导致数据和工具从一个环境迁移到另一个环境。此外，商业用户发现很难解读这些结果。易于挖掘和分析的结构化数据变成大多数数据分析任务的主要数据源。结果是大量的文本内容实际上未被使用。

文本分析的新近发展

数据和云基础设施已经取得了巨大的进步。这包括机器学习和文本挖掘领域可用的各种工具和技术。伴随着这些发展，速度，创新和可扩展性现在变成了可能。在组织使用分析学方面也已经出现了根本性的转变：不是应对过去的趋势，组织通过根据当前事件预测未来趋势而变得主动。多亏了AWS提供的各种云基础设施服务和诸如RapidMiner，组织不再需要先进的编程技术就可以在可扩展和持久的环境中快速地分析文本内容了。RapidMiner工具综合了机器学习，文本挖掘和可视化能力。

文本挖掘流程

大多数文本挖掘遵循以下的典型流程：

1.识别和提取待分析的文档。应用结构化的，统计的和语言技术（通常是共同应用）来识别，标识和提取各种成分，例如实体，概念和关系。

2.应用统计学的模式匹配和相似性技术来将文档分类并根据特定的分组或分类组织提取出的特征。潜在的非结构化数据转化为易于分析的结构化数据。分类过程帮助识别含义和各种关系。

3.评估模型的性能。

4.向最终用户呈现分析结果。

下面的流程图说明了这一流程。

典型的文本挖掘流程图

第一行：识别/提取待分析的文本/文档 应用统计的/语言的/结构化技术来分析 推断含义/识别内容/应用词类分析法

第二行：提取概念和模式 应用统计的/机器学习/模式匹配技术 将文档分类，根据分类学组织文档

第三行：识别文本含义和大量文本中各种关系 评估模型性能，检查查准率/查全率/准确性/相关性

向最终用户呈现分析结果

机器学习在文本挖掘中的作用

典型地，文本挖掘技术根据因子（例如术语频率和分布）的统计分析建立一组重要的单词和句子。根据重要性，得分最高的单词和句子典型地表明潜在的观点，感情或一般主题。

作为过程的一部分，现代工具典型地构建一个文档术语矩阵（DTM），使用加权方法，如词频-逆文档频率法(TF-IDF)。这些工具提取并将潜在信息，如标准特征，关键词频率，文档和文本列表特征，以表格的形式存储在数据库中。可以查询这些表格进行系数分析和处理。这些步骤是将机器学习技术应用到文本内容的前导。