自然语言处理（nlp）是一个令人着迷的领域，它结合了语言学和计算来理解、解释和操纵人类语言。最强大的工具之一是 中的自然语言工具包 (nltk)。在本文中，我们将探讨标记化的概念以及 wordnet（广泛用于 nlp 的英语词汇库）的使用。
什么是代币化？
标记化是将文本划分为更小的单元（称为标记）的过程。这些标记可以是单词、短语，甚至单个字符。标记化是文本处理中的关键步骤，因为它允许算法更有效地理解和分析文本。
例如，考虑短语“hello, world!”。对该短语进行标记可以产生三个标记：[“hello”、“、”“world”、“！”]。这种划分允许单独分析文本的每个部分，从而促进情感分析、机器翻译和命名实体识别等任务。
在 nltk 中，标记化可以通过多种方式完成。让我们看一些实际的例子。
立即学习“”；
对句子中的文本进行标记
将文本分成句子是许多 nlp 任务的第一步。 nltk 通过 sent_tokenize 函数使这一切变得简单。
import nltk from nltk.tokenize import sent_tokenize texto = "olá mundo! bem-vindo ao tutorial de nltk. vamos aprender a tokenizar textos." sentencas = sent_tokenize(texto, language='portuguese') print(sentencas)
结果将是：
['olá mundo!', 'bem-vindo ao tutorial de nltk.', 'vamos aprender a tokenizar textos.']
这里，文本被分为三句话。这对于更详细的分析非常有用，其中每个句子都可以单独处理。
将句子标记为单词
将文本分割成句子后，下一步通常是将这些句子分割成单词。 nltk 的 word_tokenize 函数就是用于此目的。
from nltk.tokenize import word_tokenize frase = "olá mundo!" palavras = word_tokenize(frase, language='portuguese') print(palavras)
结果将是：
['olá', 'mundo', '!']
现在我们将每个单词和标点符号作为单独的标记。这对于词频分析等任务至关重要，我们需要计算每个单词在文本中出现的次数。
使用正则表达式进行标记化
在某些情况下，您可能需要更加个性化的标记化。正则表达式（regex）是一个强大的工具。 nltk 提供了 regexptokenizer 类来创建自定义标记器。
from nltk.tokenize import regexptokenizer tokenizer = regexptokenizer(r'w+') tokens = tokenizer.tokenize("vamos aprender nltk.") print(tokens)
结果将是：
['vamos', 'aprender', 'nltk']
在这里，我们使用正则表达式，仅选择由字母数字字符组成的单词，忽略标点符号。
wordnet 简介
wordnet 是一个词汇数据库，它将单词分组为同义词集（称为同义词集），提供简短、通用的定义，并记录这些单词之间的各种语义关系。在 nltk 中，wordnet 用于查找同义词、反义词、下位词和上位词以及其他关系。
要使用wordnet，我们需要从nltk导入wordnet模块。
from nltk.corpus import wordnet
搜索同义词集
同义词集或同义词集是一组具有相同含义的单词。要搜索单词的同义词集，我们使用 synsets 函数。
sinonimos = wordnet.synsets("dog") print(sinonimos)
结果将是代表单词“dog”的不同含义的同义词集列表。
[synset('dog.n.01'), synset('frump.n.01'), synset('dog.n.03'), synset('cad.n.01'), synset('frank.n.02'), synset('pawl.n.01'), synset('andiron.n.01')]
每个同义词集都由一个名称来标识，该名称包括单词、词性（n 表示名词，v 表示动词等）以及区分不同含义的数字。
定义和示例
我们可以获得特定同义词集的定义和使用示例。
sinonimo = wordnet.synset('dog.n.01') print(sinonimo.definition()) print(sinonimo.examples())
结果将是：
a domesticated carnivorous mammal (canis familiaris) that typically has a long snout, an acute sense of smell, non-retractile claws, and a barking, howling, or whining voice ['the dog barked all night']
这让我们清楚地理解了“狗”在这种情况下的含义和用法。
搜索同义词和反义词
要查找单词的同义词和反义词，我们可以探索同义词集引理。
sinonimos = [] antonimos = [] for syn in wordnet.synsets("good"): for lemma in syn.lemmas(): sinonimos.append(lemma.name()) if lemma.antonyms(): antonimos.append(lemma.antonyms()[0].name()) print(set(sinonimos)) print(set(antonimos))
结果将是单词“good”的同义词和反义词列表。
{'skillful', 'proficient', 'practiced', 'unspoiled', 'goodness', 'good', 'dependable', 'sound', 'right', 'safe', 'respectable', 'effective', 'trade_good', 'adept', 'good', 'full', 'commodity', 'estimable', 'honorable', 'undecomposed', 'serious', 'secure', 'dear', 'ripe'} {'evilness', 'evil', 'ill'}
计算语义相似度
wordnet 还允许您计算单词之间的语义相似度。相似度基于下位词/上位词图中同义词集之间的距离。
from nltk.corpus import wordnet cachorro = wordnet.synset('dog.n.01') gato = wordnet.synset('cat.n.01') similaridade = cachorro.wup_similarity(gato) print(similaridade)
结果将是0到1之间的相似度值。
0.8571428571428571
这个值表明“狗”和“猫”在语义上非常相似。
过滤停用词
停用词是常见的词，通常不会给文本添加太多含义，例如“and”、“a”、“of”。删除这些单词可以帮助您专注于文本中最重要的部分。 nltk 提供了多种语言的停用词列表。
from nltk.corpus import stopwords stop_words = set(stopwords.words('portuguese')) palavras = ["olá", "mundo", "é", "um", "lugar", "bonito"] palavras_filtradas = [w for w in palavras if not w in stop_words] print(palavras_filtradas)
结果将是：
['olá', 'mundo', 'lugar', 'bonito']
这里，停用词已从原始单词列表中删除。
实际应用
情感分析
情感分析是一种常见的 nlp 应用，其目标是确定文本中表达的观点或情感。标记化和 wordnet 的使用是此过程中的重要步骤。
首先，我们将文本分成单词并删除停用词。然后我们可以使用同义词集来更好地理解单词的上下文和极性。
texto = "eu amo programação em python!" palavras = word_tokenize(texto, language='portuguese') palavras_filtradas = [w for w in palavras if not w in stop_words] polaridade = 0 for palavra in palavras_filtradas: synsets = wordnet.synsets(palavra, lang='por') if synsets: for syn in synsets: polaridade += syn.pos_score() - syn.neg_score() print("polaridade do texto:", polaridade)
在这个简化的示例中，我们将过滤后的单词的同义词集的正分和负分相加，以确定文本的整体极性。
命名实体识别
另一个应用程序是命名实体识别（ner），它可以对文本中的人名、组织、位置等进行识别和分类。
import nltk nltk.download('maxent_ne_chunker') nltk.download('words') frase = "Barack Obama foi o 44º presidente dos Estados Unidos." palavras = word_tokenize(frase, language='portuguese') tags = nltk.pos_tag(palavras) entidades = nltk.ne_chunk(tags) print(entidades)
结果将是一棵树，将“barack obama”识别为一个人，将“美国”识别为一个位置。
结论
在本文中，我们将探讨标记化的基础知识以及在 python 中使用 wordnet 和 nltk 库。我们看到了如何将文本划分为句子和单词，如何搜索同义词和反义词，计算语义相似度，以及情感分析和命名实体识别等实际应用。 nltk 对于任何对自然语言处理感兴趣的人来说都是一个强大的工具，提供了广泛的功能来有效地转换和分析文本。
以上就是使用 Python 和 NLTK 进行标记化和 WordNet 基础知识简介的详细内容，更多请关注php中文网其它相关文章！
微信扫一扫打赏
支付宝扫一扫打赏
