Python中Pandas用于合并数据的 5 个最常用的函数

  • Python
  • 618 clicked

这里给大家分享用于Pandas中合并数据的 5 个最常用的函数。这样大家以后就可以了解它们的差异，并正确使用它们了。

在文章开始之前，我们需要创建两个简单的 DataFrame 对象。

import pandas as pd
df0 = pd.DataFrame({"a": [1, 2, 3], "b": [4, 5, 6]})
df1 = pd.DataFrame({"c": [2, 3, 4], "d": [5, 6, 7]})

1. concat

concat 函数字面就是就是连接的意思，它可以帮我们横向或者纵向合并数据。

当你纵向合并数据时，需要将轴axis指定为0，这实际上也是默认值。

pd.concat([df0,
           df1.rename(columns={"c": "a", "d": "b"})],
          axis=0)

当你横向合并数据时，具体操作如下所示。

pd.concat([df0, df1], axis=1)

默认情况下，当我们横向合并数据（沿列）时，Pandas其实是按照索引来连接的。当两者的索引不相同时，就会用 NaN 填充不重叠的，举个例子如下所示。

df2 = df1.copy()
df2.index = [1, 2, 3]
pd.concat([df0, df2], axis=1)

这只是个小例子，如果希望它们不受索引的影响，可以先重置索引再执行concat连接。

pd.concat([df0.reset_index(drop=True),
           df2.reset_index(drop=True)],
          axis=1)

重置索引后，df0 和 df2 的索引就变得一致了。

2. join

与 concat 对比，join 专门用于使用索引连接 DataFrame 对象之间的列。

df0.join(df1)

当索引不同时，join连接默认保留来自左侧 DataFrame 的行。右侧 DF 中没有左侧 DF 中匹配索引的行，会被删除，如下所示：

df0.join(df2)

此外，还可以设置 how 参数，这点与SQL的语法一致。

# 右连接，使用 df2 的索引
df0.join(df2, how="right")

# "outer" 外连接
df0.join(df2, how="outer")

# "inner" 内连接（交集）
df0.join(df2, how="inner")

3. merge

与join相比，merge更通用，它可以对列和索引执行合并操作。

基于列的合并，可以这样操作。

df0.merge(df1.rename(columns={"c": "a"}),
          on="a", how="inner")

on 参数定义两个 DataFrame 对象将合并到哪些列。当然，也可以分别指定左侧 DataFrame 和右侧 DataFrame 的合并列，如下所示。

df0.merge(df1, left_on="a", right_on="c")

除了 a 和 c 的单独列之外，它的结果与之前的合并几乎相同。这里，额外提两个特殊参数：笛卡尔积、使用后缀。

3.1. 笛卡尔积

how 参数设置为cross，构成笛卡尔积。是指两个数据框中的数据交叉匹配，出现n1*n2的数据量，具体如下所示。

df0.merge(df1, how="cross")

3.2. 使用后缀

当两个 DataFrame 对象有同名的列，且想保持同时存在，就需要添加后缀来重命名这两列。默认情况下，左右数据框的后缀是“_x”和“_y”，我们还可以通过suffixes参数自定义设置。

df0.merge(df1.rename(columns={"c": "a", "d": "b"}),
          on="a", how="outer", suffixes=("_l", "_r"))

4. combine

combine 函数在两个 DataFrame 对象之间执行按列合并，它与之前的方法还是有很大不同的。combine 的特殊之处，在于它接受一个函数参数。此函数采用两个系列，每个系列对应于每个 DataFrame 中的合并列，并返回一个系列作为相同列的元素操作的最终值。听起来很混乱？

让我们举个例子，看一下：

def taking_larger_square(s1, s2):
    return s1 * s1 if s1.sum() > s2.sum() else s2 * s2

df0.combine(df1.rename(columns={"c": "a", "d": "b"}), taking_larger_square)

自定义的 take_larger_square 函数对 df0 和 df1 中的 a 列以及 df0 和 df1 中的 b 列进行操作。在两列 a 和两列 b 之间，taking_larger_square 取较大列中值的平方。

在这种情况下，df1 的 a 列和 b 列将作为平方，产生最终值，如上面的代码片段所示

5. append

回顾前文，我们讨论的大多数操作都是针对按列来合并数据。

如果按行合并（纵向）该如何操作呢？append 函数专门用于将行附加到现有 DataFrame 对象，创建一个新对象。我们先来看一个例子。

df0.append(df1.rename(columns={"c": "a", "d": "b"}))

上面的操作是不是很眼熟？就跟第一个方法concat的实现效果一致。

不过除了逐行拼接DataFrame，append还可以附加 dict 字典对象，这种方法更加灵活，具体如下所示：

df0.append({"a": 1, "b": 2}, ignore_index=True)

上面显示了一个简单的例子。请注意，您必须将 ignore_index 设置为 True，因为字典对象没有 DataFrame 可以使用的索引信息。

6. 小结

总结一下，我们今天重新学习了 Pandas 中用于合并数据的 5 个最常用的函数。他们分别是：

  • concat[1]：按行和按列 合并数据；
  • join[2]：使用索引按行合 并数据；
  • merge[3]：按列合并数据，如数据库连接操作；
  • combine[4]：按列合并数据，具有列间（相同列）元素操作；
  • append[5]：以DataFrame或dict对象的形式逐行追加数据。

7. 参考资料

发表评论

邮箱地址不会被公开。 必填项已用*标注