国产麻豆乱码精品一区二区三区,成人av影院在线观看,国产传媒av在线

主頁 > 知識庫 > 能讓你輕松的實現自然語言處理的5個Python庫

能讓你輕松的實現自然語言處理的5個Python庫

一、前言

自然語言是指人類相互交流的語言，而自然語言處理是將數據以可理解的形式進行預處理，使計算機能夠理解的一種方法。簡單地說，自然語言處理(NLP)是幫助計算機用自己的語言與人類交流的過程。

自然語言處理是最廣泛的研究領域之一。許多大公司在這個領域投資很大。NLP為公司提供了機會，讓他們能夠根據消費者的情緒和文本很好地了解他們。NLP的一些最佳用例是檢測假電子郵件、對假新聞進行分類、情感分析、預測你的下一個單詞、自動更正、聊天機器人、個人助理等等。

解決任何NLP任務前要知道的7個術語

標記：它是將整個文本分割成小標記的過程。占卜是根據句子和單詞兩個基礎來完成的。

text = "Hello there, how are you doing today? The weather is great today. python is awsome"

##sentece tokenize (Separated by sentence)
['Hello there, how are you doing today?', 'The weather is great today.', 'python is awsome']
##word tokenizer (Separated by words)
['Hello', 'there', ',', 'how', 'are', 'you', 'doing', 'today', '?', 'The', 'weather', 'is', 'great', 'today', '.','python', 'is', 'awsome']

停止詞：一般來說，這些詞不會給句子增加太多的意義。在NLP中，我們刪除了所有的停止詞，因為它們對分析數據不重要。英語中總共有179個停止詞。

詞干提取：它是通過去掉后綴和前綴將一個單詞還原為詞根的過程。

詞形還原：它的工作原理與詞干法相同，但關鍵的區別是它返回一個有意義的單詞。主要是開發聊天機器人、問答機器人、文本預測等。

WordNet：它是英語語言名詞、動詞、形容詞和副詞的詞匯數據庫或詞典，這些詞被分組為專門為自然語言處理設計的集合。

詞性標注：它是將一個句子轉換為一個元組列表的過程。每個元組都有一個形式(單詞、標記)。這里的標簽表示該單詞是名詞、形容詞還是動詞等等。

text = 'An sincerity so extremity he additions.'
--------------------------------
('An', 'DT'), ('sincerity', 'NN'), ('so', 'RB'), ('extremity', 'NN'), ('he', 'PRP'), ('additions', 'VBZ')]

詞袋：它是一個將文本轉換成某種數字表示的過程。比如獨熱編碼等。

sent1 = he is a good boy
sent2 = she is a good girl
            |
            |
        girl good boy   
sent1    0    1    1     
sent2    1    0    1

現在，讓我們回到我們的主題，看看可以幫助您輕松預處理數據的庫。

二、NLTK

毫無疑問，它是自然語言處理最好和使用最多的庫之一。NLTK是自然語言工具包的縮寫。由Steven Bird 和Edward Loper開發的。它帶有許多內置的模塊，用于標記化、詞元化、詞干化、解析、分塊和詞性標記。它提供超過50個語料庫和詞匯資源。

安裝:pip install nltk

讓我們使用NLTK對給定的文本執行預處理

import nltk
#nltk.download('punkt')
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
from nltk.stem import PorterStemmer
import re
ps = PorterStemmer()
text = 'Hello there,how are you doing today? I am Learning Python.'
text = re.sub("[^a-zA-Z0-9]"," ",text)
text = word_tokenize(text)
text_with_no_stopwords = [ps.stem(word) for word in text if word not in stopwords.words('english')]
text = " ".join(text_with_no_stopwords) 
text
-----------------------------------------------OUTPUT------------------------------------
'hello today I learn python'

三、TextBlob

Textblob是一個簡化的文本處理庫。它提供了一個簡單的API，用于執行常見的NLP任務，如詞性標記、情感分析、分類、翻譯等。

安裝:pip install textblob

四、spacy

這是python中最好用的自然語言處理庫之一，它是用cpython編寫的。它提供了一些預訓練的統計模型，并支持多達49種以上的語言進行標記化。它以卷積神經網絡為特征，用于標記、解析和命名實體識別。

安裝:pip install spacy

import spacy
nlp = spacy.load('en_core_web_sm')
text = "I am Learning Python Nowdays"
text2 = nlp(text)
for token in text2:
  print(token,token.idx)
------------------------------OUTPUT-----------------------
I 0
am 2
Learning 5
Python 14
Nowdays 21