diff options
Diffstat (limited to 'preprocess/template.py')
| -rw-r--r-- | preprocess/template.py | 61 |
1 files changed, 61 insertions, 0 deletions
diff --git a/preprocess/template.py b/preprocess/template.py new file mode 100644 index 0000000..1c4d6a5 --- /dev/null +++ b/preprocess/template.py @@ -0,0 +1,61 @@ +""" +模板文件,有自定义预处理方法可以通过编辑本文件实现数据集预处理。 +编辑完成以后,请将文件名修改,写入config.ini,并在同级目录下init文件添加本文件 +""" + + +from torch.utils.data import Dataset + + +class DataSet(Dataset): + def __init__(self, train_path: str = None, test_path: str = None, input_size: int = 1, output_size: int = 1, + step: int = 1, mode: str = 'train', del_time: bool = True, del_column_name: bool = True, + reverse_label: bool = True): + """ + 可以将csv文件批量转成tensor + + 注意:必须包含以下变量或方法。 + 变量:self.train_inputs、self.train_labels、self.train_outputs + self.test_inputs、self.test_labels、self.test_outputs、self.mode + 方法:__len__()、__getitem__() + + :param train_path: str类型。训练数据集路径。 + :param test_path: str类型。测试数据集路径。 + :param input_size: int类型。输入数据长度。 + :param output_size: int类型。输出数据长度。 + :param step: int类型。截取数据的窗口移动间隔。 + :param mode: str类型。train或者test,用于指示使用训练集数据还是测试集数据。 + :param del_time: bool类型。True为删除时间戳列,False为不删除。 + :param del_column_name: bool类型。文件中第一行为列名时,使用True。 + :param reverse_label: bool类型。转化标签,0和1互换。标签统一采用正常为0异常为1的格式,若原文件中不符和该规定,使用True。 + """ + + self.mode = mode + self.train_inputs = None # 训练时的输入数据,Tensor格式,尺寸为[N,L,D]。N表示训练数据的数量,L表示每条数据的长度(由多少个时间点组成的数据),D表示数据维度数量 + self.train_labels = None # 训练时的数据标签,Tensor格式,尺寸为[N,1]。 + self.train_outputs = None # 训练时的输出数据,Tensor格式,尺寸为[N,L,D]。 + self.test_inputs = None # 测试时的输入数据,Tensor格式,尺寸为[N,L,D]。 + self.test_labels = None # 测试时的数据标签,Tensor格式,尺寸为[N,1]。 + self.test_outputs = None # 测试时的输出数据,Tensor格式,尺寸为[N,L,D]。 + + def __len__(self): + """ + 提供数据集长度 + :return: 测试集或者训练集数据长度N + """ + if self.mode == 'train': + return self.train_inputs.shape[0] + elif self.mode == 'test': + return self.test_inputs.shape[0] + + def __getitem__(self, idx): + """ + 获取数据 + :param idx: 数据序号 + :return: 对应的输入数据、标签、输出数据 + """ + if self.mode == 'train': + return self.train_inputs[idx], self.train_labels[idx], self.train_outputs[idx] + elif self.mode == 'test': + return self.test_inputs[idx], self.test_labels[idx], self.test_outputs[idx] + |
