使用nltk库进行文本清理的综合指南
对应代码
NLTK是一个对字符串输入进行处理并以字符串或字符串列表的形式输出结果的库。这个库提供了很多算法，对学习目的有很大帮助。人们可以思考和比较各种不同的输出。还有其他一些库，如spaCy, CoreNLP, PyNLPI, Polyglot。NLTK和spaCy的应用最为广泛。Spacy在处理大量信息和高级NLP方面的工作令人钦佩。
从网站上搜刮的数据一般都是原始文本形式。在对其进行分析或拟合模型之前，应该对这些数据进行清理。清理文本数据对于你的机器学习系统发现突出的属性很重要。清理数据一般包括几个步骤。让我们从清理技术开始吧!
删除多余的空格
文本数据可能在单词之间、句子之后或之前包含额外的空格。我们可以通过使用正则表达式从每个句子中删除这些多余的空格。
示例:
# 删除多余的空格
import re
doc = "shujudaka the best learning site for Python. "
new_doc = re.sub("\s+"," ", doc)
print(new_doc)
Copy
输出:
删除标点符号
存在于文本中的标点符号，会在与其他词语的区分上产生问题，也不会为数据增加价值。
示例:
# 删除标点符号
text = "Hello! shujudaka provides the best Python Course!"
re.sub("[^-9A-Za-z ]", "" , text)
Copy
输出:
标点符号也可以在字符串库中的包的帮助下删除。
示例:
import string
text = "Hello! shujudaka provides the best Python and Machine Learning Course!"
text_clean = "".join([i for i in text if i not in string.punctuation])
text_clean
Copy
输出:
大小写规范化
我们知道，Python是一种对大小写敏感的语言，所以它对NLP和Nlp的处理方式不同。因此，我们可以通过使用以下方法轻松地将字符串转换为小写或大写。
str.lower() 或 str.upper()。
下面是一个在检查标点符号时将字符转换为小写或大写的例子。
示例:
import string
text = "Hello! shujudaka provides the best Python and Machine Learning Course!"
text_clean = "".join([i for i in text if i not in string.punctuation])
text_clean
Copy
输出:
符号化
它是将一个句子分割成单词并创建一个列表的过程，这意味着每个句子是一个单词的列表。主要有3种类型的标记化可供使用。
word_tokenize
这是一个通用的标记器，可以分离单词和标点符号，但这里的撇号(')不被认为是标点符号。
示例:
#word tokenize
import nltk
text = "Hello! I'm very excited to share that shujudaka provides the best Python and Machine Learning Course's!"
nltk.tokenize.word_tokenize(text)
Copy
输出:
Tweet Tokenizer
当处理来自社交媒体的由#,@,表情符号组成的文本数据时，专门使用这个。
例子。
示例:
#tweet tokenize
text = "Hello! I'm very excited to share that shujudaka provides the best Python and Machine Learning Course's!"
from nltk.tokenize import TweetTokenizer
tweet = TweetTokenizer()
tweet.tokenize(text)
Copy
输出:
regexp_tokenize
当我们想把我们感兴趣的词分开时，比如从推文中提取所有的标签，从推文中提取地址，或者从文本中提取超链接，都可以使用它。在这一点上，你可以使用普通的正则表达式函数来分离这些词。
示例:
#regexp_tokenize:
import re
a = 'Visit our site for Python and Machine Learning related concepts @shujudaka'
re.split('\s@', a)
Copy
输出:
去除停用词
停用词无非是我、他、她、和、但是、曾经、正在、有等等，这些都不会给数据增加任何意义。在对文本进行标记后，这些停顿词可以被删除，这有助于减少数据的特征。
示例:
# 清除停用词
import nltk
import string
stopwords = nltk.corpus.stopwords.words('english')
text = "Hello! I'm very excited to share that shujudaka provides the best Python and Machine Learning Course's!"
text_new = "".join([i for i in text if i not in string.punctuation])
print(text_new)
words = nltk.tokenize.word_tokenize(text_new)
print(words)
words_new = [i for i in words if i not in stopwords]
print(words_new)
words_new = [i for i in words if i not in stopwords and len(i)>2]
print(words_new)
Copy
结果:
词源化和词根化
词根化
它是一种将单词转化为其词根形式的技术。它是通过去除单词的后缀来完成的。词干化后的单词没有任何意义，也可能不是字典中的一部分。主要有两种类型的干化器--波特干化器(Porter Stemmer)和雪球干化器的(高级版本波特干化器)。
示例:
# 词源和词根
ps = nltk.PorterStemmer()
w = [ps.stem(word) for word in words_new]
print(w)
Copy
输出:
或者,示例:
# 第二种方法
ss = nltk.SnowballStemmer(language = 'english')
w = [ss.stem(word) for word in words_new]
print(w)
Copy
输出:
Lemmatization
它将单词带入其根部结构，称为Lemma，默认适用于名词。它有助于将单词带入其字典形式。它更准确，因为它利用更多的信息分析来创建具有可比性的词组，取决于具体的语境，所以它很复杂，需要更多的时间。
示例:
# Lemmatization
import nltk
nltk.download('wordnet')
wn = nltk.WordNetLemmatizer()
w = [wn.lemmatize(word) for word in words_new]
print(w)
Copy
输出:
以上讨论的是必须应用的清洗技术方法，以准备我们的文本数据，为分析和建立模型做准备。并不要求执行所有这些清洗步骤。
有时，你需要创建新的分析特征，如每个文本中标点符号的百分比，大数据集中每个产品评论的长度，或者你可以检查在垃圾邮件或火腿邮件中是否有更多的标点符号百分比，或积极情绪评论比消极情绪评论有更多的标点符号，反之亦然。
当文本清理完成后，我们将继续进行文本分析。在建立模型之前，重要的是将文本数据转换为机器能够理解的数字形式，即矢量化。