游牧学院

7.1 合并与连接数据集
7.3 时间序列分析

高级数据操作：数据重塑与透视

在数据分析中，数据重塑与透视是非常重要的操作。它们允许我们以不同的方式查看和分析数据，从而揭示潜在的模式和关系。在Pandas中，数据重塑与透视主要通过pivot、pivot_table、melt和stack/unstack等函数来实现。本文将详细介绍这些操作的用法、优缺点以及注意事项。

1. 数据重塑的基本概念

数据重塑是指改变数据的形状或结构，以便更好地进行分析。常见的重塑操作包括：

  • 宽格式与长格式的转换：宽格式数据通常是以列为单位存储多个变量，而长格式数据则是将这些变量转化为行。
  • 透视表：通过聚合数据并重新组织，使得数据更易于理解和分析。

2. 使用 pivot 函数

pivot 函数用于将长格式数据转换为宽格式数据。它的基本语法如下：

DataFrame.pivot(index=None, columns=None, values=None)

示例

假设我们有以下长格式数据：

import pandas as pd

data = {
    'date': ['2023-01-01', '2023-01-01', '2023-01-02', '2023-01-02'],
    'city': ['Beijing', 'Shanghai', 'Beijing', 'Shanghai'],
    'temperature': [5, 10, 6, 11]
}

df = pd.DataFrame(data)
print(df)

输出：

         date      city  temperature
0  2023-01-01   Beijing            5
1  2023-01-01  Shanghai           10
2  2023-01-02   Beijing            6
3  2023-01-02  Shanghai           11

我们可以使用 pivot 将其转换为宽格式：

pivot_df = df.pivot(index='date', columns='city', values='temperature')
print(pivot_df)

输出：

city         Beijing  Shanghai
date                          
2023-01-01        5        10
2023-01-02        6        11

优点

  • 简单易用，适合于数据结构较为简单的情况。
  • 直观地将数据从长格式转换为宽格式。

缺点

  • 如果在 index 和 columns 的组合下存在重复值，pivot 会引发错误。
  • 仅适用于简单的重塑操作，无法进行聚合。

注意事项

  • 确保在 index 和 columns 的组合下没有重复值。
  • 如果需要聚合操作，考虑使用 pivot_table。

3. 使用 pivot_table 函数

pivot_table 函数是 pivot 的扩展，允许我们在重塑数据的同时进行聚合。其基本语法如下：

DataFrame.pivot_table(values=None, index=None, columns=None, aggfunc='mean', fill_value=None)

示例

继续使用上面的数据，我们可以计算每个城市的平均温度：

pivot_table_df = df.pivot_table(index='date', columns='city', values='temperature', aggfunc='mean')
print(pivot_table_df)

输出与 pivot 相同，因为数据中没有重复值。

如果我们添加一些重复数据：

data = {
    'date': ['2023-01-01', '2023-01-01', '2023-01-02', '2023-01-02', '2023-01-01'],
    'city': ['Beijing', 'Shanghai', 'Beijing', 'Shanghai', 'Beijing'],
    'temperature': [5, 10, 6, 11, 7]
}

df = pd.DataFrame(data)
pivot_table_df = df.pivot_table(index='date', columns='city', values='temperature', aggfunc='mean')
print(pivot_table_df)

输出：

city         Beijing  Shanghai
date                          
2023-01-01      6.0      10.0
2023-01-02      6.0      11.0

优点

  • 可以处理重复值，通过聚合函数（如 mean、sum 等）来计算结果。
  • 灵活性高，可以通过 aggfunc 参数自定义聚合方式。

缺点

  • 语法相对复杂，尤其是在处理多个聚合函数时。
  • 可能会导致数据丢失，特别是在使用 fill_value 时。

注意事项

  • 选择合适的聚合函数，以确保数据的准确性。
  • 注意 fill_value 的使用，避免引入误导性数据。

4. 使用 melt 函数

melt 函数用于将宽格式数据转换为长格式。其基本语法如下：

DataFrame.melt(id_vars=None, value_vars=None, var_name=None, value_name='value')

示例

假设我们有以下宽格式数据：

data = {
    'date': ['2023-01-01', '2023-01-02'],
    'Beijing': [5, 6],
    'Shanghai': [10, 11]
}

df_wide = pd.DataFrame(data)
print(df_wide)

输出：

         date  Beijing  Shanghai
0  2023-01-01        5        10
1  2023-01-02        6        11

我们可以使用 melt 将其转换为长格式：

melted_df = df_wide.melt(id_vars='date', var_name='city', value_name='temperature')
print(melted_df)

输出：

         date      city  temperature
0  2023-01-01   Beijing            5
1  2023-01-02   Beijing            6
2  2023-01-01  Shanghai           10
3  2023-01-02  Shanghai           11

优点

  • 简单易用，适合于将宽格式数据转换为长格式。
  • 可以处理多个变量的转换。

缺点

  • 可能导致数据量增加，尤其是在宽格式数据中有很多列时。
  • 需要注意 id_vars 和 value_vars 的选择，以确保数据的完整性。

注意事项

  • 确保选择合适的 id_vars，以避免丢失重要信息。
  • 在处理大数据集时，注意内存的使用。

5. 使用 stack 和 unstack 函数

stack 和 unstack 函数用于在多层索引的情况下进行数据的重塑。stack 将列索引转换为行索引，而 unstack 则相反。

示例

假设我们有以下数据：

data = {
    'date': ['2023-01-01', '2023-01-01', '2023-01-02', '2023-01-02'],
    'city': ['Beijing', 'Shanghai', 'Beijing', 'Shanghai'],
    'temperature': [5, 10, 6, 11]
}

df = pd.DataFrame(data)
pivot_df = df.pivot(index='date', columns='city', values='temperature')
print(pivot_df)

输出：

city         Beijing  Shanghai
date                          
2023-01-01        5        10
2023-01-02        6        11

我们可以使用 stack 将其转换为长格式：

stacked_df = pivot_df.stack()
print(stacked_df)

输出：

date        city    
2023-01-01 Beijing     5
            Shanghai   10
2023-01-02 Beijing     6
            Shanghai   11
dtype: int64

使用 unstack 可以将其转换回宽格式：

unstacked_df = stacked_df.unstack()
print(unstacked_df)

输出与 pivot_df 相同。

优点

  • 适用于多层索引的数据重塑。
  • 可以灵活地在行和列之间进行转换。

缺点

  • 语法相对复杂，尤其是在处理多层索引时。
  • 可能导致数据的可读性下降。

注意事项

  • 在使用 stack 和 unstack 时，确保理解数据的层次结构。
  • 注意数据的顺序，避免引入混淆。

总结

数据重塑与透视是数据分析中不可或缺的操作。通过使用Pandas中的 pivot、pivot_table、melt 和 stack/unstack 函数，我们可以灵活地改变数据的形状，以便更好地进行分析。每种方法都有其优缺点和适用场景，选择合适的方法将有助于提高数据分析的效率和准确性。在实际应用中，建议根据数据的特点和分析需求，灵活运用这些工具。

7.1 合并与连接数据集
7.3 时间序列分析