利用NLTK进行分句分词

原创
2017/05/31 14:43
阅读数 2.1K

.输入一个段落,分成句子(Punkt句子分割器)

import nltk  
import nltk.data  
  
def splitSentence(paragraph):  
    tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')  
    sentences = tokenizer.tokenize(paragraph)  
    return sentences  
  
if __name__ == '__main__':  
    print splitSentence("My name is Tom. I am a boy. I like soccer!")  
结果为['My name is Tom.', 'I am a boy.', 'I like soccer!']

2.输入一个句子,分成词组

from nltk.tokenize import WordPunctTokenizer    
  
def wordtokenizer(sentence):  
    #分段  
    words = WordPunctTokenizer().tokenize(sentence)  
    return words  
  
if __name__ == '__main__':  
    print wordtokenizer("My name is Tom.")  
结果为['My', 'name', 'is', 'Tom', '.']

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部