本节书摘来异步社区《NLTK基础教程——用NLTK和Python库构建机器学习应用》一书中的第2章，作者：Nitin Hardeniya，更多章节内容可以访问云栖社区“异步社区”公众号查看。

第2章　文本的歧义及其清理

NLTK基础教程——用NLTK和Python库构建机器学习应用

在上一章中，我们为Python以及NLTK库的学习开了一个不错的头，带你初步了解了一下如何针对一些文本资料进行一些有意义的EDA。我们用非常粗糙和简单的方式将预处理部分的所有工作都做了一遍。在本章，我们将具体来讨论标识化处理、词干提取、词形还原（lemmatization）以及停用词移除等这些预处理步骤。这些话题将会涉及NLTK中所有用于处理文本歧义的工具。届时，我们将会讨论现代NLP应用中会用到的所有预处理步骤，以及实现其中某些任务的不同方法，并说明我们通常该做什么、不该做什么。总而言之，我们会为你提供关于这些工具的足够信息，以便你可以自行决定在自己的应用程序中使用怎么样的预处理工具。我们希望读者在阅读完本章之后，可以掌握以下内容。

所有与数据歧义相关的情况，并能运用NLTK处理它们。

文本清理的重要性以及我们可以用NLTK实现什么样的常见任务。