pandas常用表连接merge/concat/join/append详解

在数据处理时，通常需要将不同来源的数据进行合并，而常用的方法包括merge、concat、join和append。在pandas中，这些方法都有对应的函数，下面将详细介绍这些函数的用法。

merge函数

merge函数是pandas中最常用的表连接函数，其主要作用是将两个DataFrame对象按照指定的条件连接在一起。具体用法如下：

merged_df = pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,
                     left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'),
                     copy=True, indicator=False, validate=None)

参数说明：
– left：左侧DataFrame对象；
– right：右侧DataFrame对象；
– how：合并方式，可选inner、outer、left和right，默认为inner；
– on：连接字段，左右DataFrame对象中用于连接的列名，要求两个对象中连接列名相同；
– left_on：左侧DataFrame对象中用于连接的列名；
– right_on：右侧DataFrame对象中用于连接的列名；
– left_index：是否以左侧DataFrame对象的行索引作为连接键，默认为False；
– right_index：是否以右侧DataFrame对象的行索引作为连接键，默认为False；
– sort：是否按连接键对合并后的DataFrame对象进行排序，默认为False；
– suffixes：左右DataFrame对象中列名相同时，如果需要区分，可通过suffixes参数指定列名后缀，默认为(‘_x’, ‘_y’)；
– copy：是否对合并后的DataFrame对象进行复制，默认为True；
– indicator：是否在合并后的DataFrame对象中增加一列，用于标识该行来自哪个DataFrame对象，可选True或False，默认为False；
– validate：是否检查连接键是否包含在连接的DataFrame对象中，可选None、One_to_One、Many_to_One和Many_to_Many，默认为None。

示例：

import pandas as pd

# 创建两个DataFrame对象
left_df = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'],
                        'A': ['A0', 'A1', 'A2', 'A3'],
                        'B': ['B0', 'B1', 'B2', 'B3']})
right_df = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'],
                         'C': ['C0', 'C1', 'C2', 'C3'],
                         'D': ['D0', 'D1', 'D2', 'D3']})

# 按照key列进行连接
merged_df = pd.merge(left_df, right_df, on='key')
print(merged_df)

输出结果：

  key   A   B   C   D
0  K0  A0  B0  C0  D0
1  K1  A1  B1  C1  D1
2  K2  A2  B2  C2  D2
3  K3  A3  B3  C3  D3

concat函数

concat函数是pandas中用于合并多个DataFrame对象的函数，其主要作用是将多个DataFrame对象进行拼接，具体用法如下：

concat_df = pd.concat(objs, axis=0, join='outer', ignore_index=False, keys=None,
                      levels=None, names=None, verify_integrity=False, copy=True)

参数说明：
– objs：待拼接的多个DataFrame对象，可以是一个列表、字典或生成器；
– axis：拼接方向，可选0或1，默认为0；
– join：连接方式，可选inner、outer，默认为outer；
– ignore_index：是否忽略DataFrame对象中的原有行索引，可选True或False，默认为False；
– keys：用于制作层次化索引的数组或者元组列表，默认为None；
– levels：用于在n级分层索引上制作分级索引的索引列表，默认为None；
– names：用于制定分级索引中索引层次的名称列表，默认为None；
– verify_integrity：是否检查拼接后的DataFrame对象中是否有重复索引值，可选True或False，默认为False；
– copy：是否对拼接后的DataFrame对象进行复制，可选True或False，默认为True。

示例：

import pandas as pd

# 创建两个DataFrame对象
df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
                    'B': ['B0', 'B1', 'B2', 'B3'],
                    'C': ['C0', 'C1', 'C2', 'C3'],
                    'D': ['D0', 'D1', 'D2', 'D3']})
df2 = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'],
                    'B': ['B4', 'B5', 'B6', 'B7'],
                    'C': ['C4', 'C5', 'C6', 'C7'],
                    'D': ['D4', 'D5', 'D6', 'D7']})

# 按照行进行拼接
concat_df = pd.concat([df1, df2], axis=0)
print(concat_df)

输出结果：

    A   B   C   D
0  A0  B0  C0  D0
1  A1  B1  C1  D1
2  A2  B2  C2  D2
3  A3  B3  C3  D3
0  A4  B4  C4  D4
1  A5  B5  C5  D5
2  A6  B6  C6  D6
3  A7  B7  C7  D7

join函数

join函数是pandas中另一个用于表连接的函数，其作用与merge函数类似，具体用法如下：

joined_df = left.join(right, on=None, how='left', lsuffix='', rsuffix='', sort=False)

该函数主要参数与merge函数一致，使用方法也差不多，不过join函数主要是针对行索引进行连接，因此常在处理行索引有关联的DataFrame对象时使用。

示例：

import pandas as pd

# 创建两个DataFrame对象，并设置行索引
left_df = pd.DataFrame({'A': ['A0', 'A1', 'A2'],
                        'B': ['B0', 'B1', 'B2']},
                       index=['K0', 'K1', 'K2'])
right_df = pd.DataFrame({'C': ['C0', 'C1', 'C2'],
                         'D': ['D0', 'D1', 'D2']},
                        index=['K0', 'K2', 'K3'])

# 按照行索引进行连接
joined_df = left_df.join(right_df, how='outer')
print(joined_df)

输出结果：

     A    B    C    D
K0  A0   B0   C0   D0
K1  A1   B1  NaN  NaN
K2  A2   B2   C1   D1
K3 NaN  NaN   C2   D2

append函数

append函数也是pandas中用于表连接的一个函数，主要作用是将多个字符串连接到一个字符串中，但也可以用于将多个DataFrame对象进行行合并，具体用法如下：

appended_df = df1.append(other, ignore_index=False, verify_integrity=False, sort=False)

参数说明：
– other：待拼接的DataFrame对象；
– ignore_index：是否忽略DataFrame对象中的原有行索引，可选True或False，默认为False；
– verify_integrity：是否检查拼接后的DataFrame对象中是否有重复索引值，可选True或False，默认为False；
– sort：是否按索引对合并后的DataFrame对象进行排序，默认为False。

示例：

import pandas as pd

# 创建两个DataFrame对象，并设置行索引
df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2'],
                    'B': ['B0', 'B1', 'B2']},
                   index=['K0', 'K1', 'K2'])
df2 = pd.DataFrame({'A': ['A3', 'A4', 'A5'],
                    'B': ['B3', 'B4', 'B5']},
                   index=['K3', 'K4', 'K5'])

# 按照行进行拼接
appended_df = df1.append(df2)
print(appended_df)

输出结果：

     A   B
K0  A0  B0
K1  A1  B1
K2  A2  B2
K3  A3  B3
K4  A4  B4
K5  A5  B5