d2l - 数据预处理 Day_2

跟李沐学AI的第二天

1.读取数据集

举⼀个例⼦，我们⾸先创建⼀个⼈⼯数据集，并存储在CSV（逗号分隔值）⽂件 ../data/house_tiny.csv中。
以其他格式存储的数据也可以通过类似的⽅式进⾏处理。下⾯我们将数据集按⾏写⼊CSV⽂件中。

import os
os.makedirs(os.path.join('..', 'data'), exist_ok=True) #传入一个path路径，生成一个递归的文件夹；
data_file = os.path.join('..', 'data', 'house_tiny.csv')#传入三个path路径，将该路径拼接起来，形成一个新的完整路径；
with open(data_file, 'w') as f:
f.write('NumRooms,Alley,Price\n') # 列名
f.write('NA,Pave,127500\n') # 每⾏表⽰⼀个数据样本
f.write('2,NA,106000\n')
f.write('4,NA,178100\n')
f.write('NA,NA,140000\n')

要从创建的CSV⽂件中加载原始数据集，我们导⼊pandas包并调⽤read_csv函数。该数据集有四⾏三列。其中每⾏描述了房间数量（“NumRooms”）、巷⼦类型（“Alley”）和房屋价格（“Price”）。

# 如果没有安装pandas，只需取消对以下⾏的注释来安装pandas
# !pip install pandas
import pandas as pd
data = pd.read_csv(data_file)
print(data)

2.处理缺失值

注意，“NaN”项代表缺失值。为了处理缺失的数据，典型的⽅法包括插值法和删除法，其中插值法⽤⼀个替代值弥补缺失值，⽽删除法则直接忽略缺失值。在这⾥，我们将考虑插值法。
通过位置索引iloc，我们将data分成inputs和outputs，其中前者为data的前两列，⽽后者为data的最后⼀列。
对于inputs中缺少的数值，我们⽤同⼀列的均值替换“NaN”项。

inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())

iloc使用顺序数字来索引数据，而不能使用字符型的标签来索引数据；注意：这里的顺序数字是指从0开始计数！

loc使用实际设置的索引来索引数据。但行列名为数字时，loc也可以索引数字，但这里的数字不一定从0开始编号，是对应具体行列名的数字！

对于inputs中的类别值或离散值，我们将“NaN”视为⼀个类别。由于“巷⼦类型”（“Alley”）列只接受两种类型的类别值“Pave”和“NaN”，pandas可以⾃动将此列转换为列“Alley_Pave”和“Alley_nan”。巷⼦类型为“Pave”的⾏会将“Alley_Pave”的值设置为1，“Alley_nan”的值设置为0。缺少巷⼦类型的⾏会将“Alley_Pave”和“Alley_nan”分别设置为0和1。

inputs = pd.get_dummies(inputs,dummy_na=True)
print(inputs)

3.转换为张量格式

现在inputs和outputs中的所有条⽬都是数值类型，它们可以转换为张量格式。当数据采⽤张量格式后，可以通过在2.1节中引⼊的那些张量函数来进⼀步操作。

import torch

X,y = torch.tensor(inputs.value),torch.tensor(outputs.values)

⼩结

• pandas软件包是Python中常⽤的数据分析⼯具中，pandas可以与张量兼容。

• ⽤pandas处理缺失的数据时，我们可根据情况选择⽤插值法和删除法。

练习

创建包含更多⾏和列的原始数据集。

​ 1.删除缺失值最多的列。

​ 2.将预处理后的数据集转换为张量格式。