무회blog

In [1]: # pip install customized_konlpy In [2]: from ckonlpy.tag import Twitter twitter = Twitter() twitter.morphs('은경이는 사무실로 갔습니다.') C:\anacondas\lib\site-packages\konlpy\tag\_okt.py:16: UserWarning: "Twitter" has changed to "Okt" since KoNLPy v0.4.5. warn('"Twitter" has changed to "Okt" since KoNLPy v0.4.5.') Out[2]: ['은', '경이', '는', '사무실', '..

001. from libs import * df['cut_content'] = df['content'].apply(lambda x: " ".join(w for w in word_tokenize(str(x)))) # 这里我们使用了参数ngram_range=(1,2) # ,这表示我们除了抽取评论中的每个词语外 # ,还要抽取每个词相邻的词并组成一个“词语对”,如: 词1，词2，词3，词4，(词1，词2)，(词2,词3)，(词3，词4)。 # 这样就扩展了我们特征集的数量,有了丰富的特征集才有可能提高我们分类文本的准确度。 # 参数norm='l2',是一种数据标准划处理的方式,可以将数据限制在一点的范围内比如说(-1,1) tfidf = TfidfVectorizer(norm='l2', ngram_range=(1, 2)) cut_contents =..