목록Python (124)

무회blog

파이썬, restful 연결,

Python 2020. 9. 1. 08:31
한국어불용어

Python 2020. 9. 1. 08:27
Babi 데이터셋 전처리하기,QnA

In [1]: # pip install customized_konlpy In [2]: from ckonlpy.tag import Twitter twitter = Twitter() twitter.morphs('은경이는 사무실로 갔습니다.') C:\anacondas\lib\site-packages\konlpy\tag\_okt.py:16: UserWarning: "Twitter" has changed to "Okt" since KoNLPy v0.4.5. warn('"Twitter" has changed to "Okt" since KoNLPy v0.4.5.') Out[2]: ['은', '경이', '는', '사무실', '..
Python 2020. 8. 31. 17:56
QnA 모듈분류 및 테스트

001. from libs import * df['cut_content'] = df['content'].apply(lambda x: " ".join(w for w in word_tokenize(str(x)))) # 这里我们使用了参数ngram_range=(1,2) # ,这表示我们除了抽取评论中的每个词语外 # ,还要抽取每个词相邻的词并组成一个“词语对”,如: 词1，词2，词3，词4，(词1，词2)，(词2,词3)，(词3，词4)。 # 这样就扩展了我们特征集的数量,有了丰富的特征集才有可能提高我们分类文本的准确度。 # 参数norm='l2',是一种数据标准划处理的方式,可以将数据限制在一点的范围内比如说(-1,1) tfidf = TfidfVectorizer(norm='l2', ngram_range=(1, 2)) cut_contents =..
Python 2020. 8. 28. 17:07
QnA 테스트 해보기 , 랜덤 값 , 분류 ,

import re class Cleaning_Text: def comMonText_biyur(original_tokenList, gensim_tokenList1): _topFreqOriginal = Counter(original_tokenList) _topFreqGensim1 = Counter(gensim_tokenList1) ### 교집합 comMon1_1 = _topFreqOriginal & _topFreqGensim1 # 교집합 빈도수 most_cnt = 50 ## 상위 50개 comMon1_1 = comMon1_1.most_common(most_cnt) # _topFreqGensim if len(original_tokenList) == 0: biyur = 0 else: biyur1_1 = roun..
Python 2020. 8. 27. 19:00
Prev 1 2 3 4 5 6 7 ··· 25 Next