무회 Blog

001. from libs import * df['cut_content'] = df['content'].apply(lambda x: " ".join(w for w in word_tokenize(str(x)))) # 这里我们使用了参数ngram_range=(1,2) # ,这表示我们除了抽取评论中的每个词语外 # ,还要抽取每个词相邻的词并组成一个“词语对”,如: 词1，词2，词3，词4，(词1，词2)，(词2,词3)，(词3，词4)。 # 这样就扩展了我们特征集的数量,有了丰富的特征集才有可能提高我们分类文本的准确度。 # 参数norm='l2',是一种数据标准划处理的方式,可以将数据限制在一点的范围内比如说(-1,1) tfidf = TfidfVectorizer(norm='l2', ngram_range=(1, 2)) cut_contents =..