무회blog

""" 使用 PyTorch-Transformers 模型库，先设置好准备输入模型的例子， 使用 BertTokenizer() 建立分词器对象对原句进行分词，然后对照词表将词转换成序号。 """ # from nltk import sent_tokenize, word_tokenize from Cleaning_Text import Cleaning_Text import numpy as np import os, sys import pandas as pd print('success') ## 데이타 읽어 드리고 , 변환 하기 # df = pd.read_excel('./test_data_pytorch/test_allData_5000-2.xlsx') read_path='./../../04-srcTest/test_data/test_all..