使用Pandas熟悉数据

任何机器学习项目的第一步都是熟悉数据。你可以用Pandas库。Pandas是科学家用来探索和操纵数据的主要工具。大多数人在他们的代码中将Pandas缩写为pd。我们按章行事。

import pandas as pd

Pandas库最重要的部分是DataFrame。DataFrame持有类似于表格的数据类型。这与Excel中的表格或SQL数据库中的表类似。

Pandas有针对这种类型数据的大多数操作的强大方法。

例如，我们将查看澳大利亚墨尔本的房价数据。在练习中，您将应用相同的过程到一个包含爱荷华州房价的新数据集中。

示例（墨尔本）数据存储在文件路径 ../input/melbourne-housing-snapshot/melb_data.csv 中。

我们使用以下命令加载和探索数据：

# save filepath to variable for easier access
melbourne_file_path = '../input/melbourne-housing-snapshot/melb_data.csv'
# read the data and store data in DataFrame titled melbourne_data
melbourne_data = pd.read_csv(melbourne_file_path) 
# print a summary of the data in Melbourne data
melbourne_data.describe()

数据描述的解释

结果显示您原始数据集中每列有8个数字。第一个数字，即count，显示有多少行具有非缺失值。

缺失值有许多原因。例如，在调查一间1卧室的房屋时，不会收集2号卧室的大小。我们将回到缺失数据的主题。

第二个值mean是平均值。在下面，std是标准偏差，它衡量数值的分散程度。

要解释min, 25%, 50%, 75% 和 max，请想象将每列从最低到最高值进行排序。第一个（最小）值是最小值。如果您浏览列表的四分之一，您会发现一个数字大于25%的值且小于75%的值。这是第 25% 的值（发音为 "25th percentile"）。50%和75%的百分位数类似地定义，max是最大的数字。

选择建模所需的数据

您的数据集中有太多的变量，以至于您无法理解，甚至无法很好地打印出来。你怎样才能把这么庞大的数据压缩成你能理解的东西呢？

我们先用我们的直觉挑选一些变量。稍后的课程将向您展示统计技术，以自动排列变量的优先级。

要选择变量/列，我们需要查看数据集中所有列的列表。这是通过 DataFrame 的 columns 属性(下面代码的底部)完成的。

import pandas as pd

melbourne_file_path = '../input/melbourne-housing-snapshot/melb_data.csv'
melbourne_data = pd.read_csv(melbourne_file_path) 
melbourne_data.columns

Index(['Suburb', 'Address', 'Rooms', 'Type', 'Price', 'Method', 'SellerG',
       'Date', 'Distance', 'Postcode', 'Bedroom2', 'Bathroom', 'Car',
       'Landsize', 'BuildingArea', 'YearBuilt', 'CouncilArea', 'Lattitude',
       'Longtitude', 'Regionname', 'Propertycount'],
      dtype='object')

# 墨尔本的数据有一些缺失的值(一些房子的一些变量没有记录。)
# 在后面的教程中，我们将学习如何处理缺失的值。
# 爱荷华州数据在所使用的列中没有缺失值。
# 因此，我们现在将采取最简单的方法，从我们的数据中删除房屋。
# 现在不用担心这个，尽管代码是:

# dropna 删除丢失的值(将 na 想象为“不可用”)
melbourne_data = melbourne_data.dropna(axis=0)

有许多方法可以选择数据的子集。Pandas课程对此进行了更深入的介绍，但现在我们将重点关注两种方法。

1. 点表示法（Dot notation），用于选择“预测目标”
2. 使用列名list进行选择，用于选择“特征”

选择预测目标

可以使用 点表示法 提取变量。这个单个列存储在 Series 中，它类似于只有一列数据的DataFrame。

我们将使用点表示法来选择要预测的列，称为 预测目标。按照惯例，预测目标称为 y。因此，我们需要的代码来保存墨尔本数据中房屋价格的是：

y = melbourne_data.Price

“特征”选择

输入到我们的模型中的列(以及后来用于进行预测的列)被称为“特征”。在我们的例子中，这些将是用于确定房屋价格的列。有时，您将使用除目标之外的所有列作为特征。其他时候，使用更少的特征会更好。

现在，我们将构建一个只有几个特征的模型。稍后您将看到如何迭代和比较使用不同特征构建的模型。

我们通过在括号中提供列名列表来选择多个特征。列表中的每个项应该是一个字符串(带引号)。

这里有一个例子:

melbourne_features = ['Rooms', 'Bathroom', 'Landsize', 'Lattitude', 'Longtitude']

按照惯例，这些数据称为 X 。

X = melbourne_data[melbourne_features]

让我们用describe方法和head方法快速回顾一下预测房价的数据，这两种方法显示了前几行。

X.describe()

X.head()

使用这些命令可视化地检查数据是数据科学家工作的重要组成部分。您经常会在数据集中发现值得进一步检查的惊喜。