pandas常用表连接merge/concat/join/append详解
在数据处理时，通常需要将不同来源的数据进行合并，而常用的方法包括merge、concat、join和append。在pandas中，这些方法都有对应的函数，下面将详细介绍这些函数的用法。
merge函数
merge函数是pandas中最常用的表连接函数，其主要作用是将两个DataFrame对象按照指定的条件连接在一起。具体用法如下：
merged_df = pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,
left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'),
copy=True, indicator=False, validate=None)
参数说明：
– left：左侧DataFrame对象；
– right：右侧DataFrame对象；
– how：合并方式，可选inner、outer、left和right，默认为inner；
– on：连接字段，左右DataFrame对象中用于连接的列名，要求两个对象中连接列名相同；
– left_on：左侧DataFrame对象中用于连接的列名；
– right_on：右侧DataFrame对象中用于连接的列名；
– left_index：是否以左侧DataFrame对象的行索引作为连接键，默认为False；
– right_index：是否以右侧DataFrame对象的行索引作为连接键，默认为False；
– sort：是否按连接键对合并后的DataFrame对象进行排序，默认为False；
– suffixes：左右DataFrame对象中列名相同时，如果需要区分，可通过suffixes参数指定列名后缀，默认为(‘_x’, ‘_y’)；
– copy：是否对合并后的DataFrame对象进行复制，默认为True；
– indicator：是否在合并后的DataFrame对象中增加一列，用于标识该行来自哪个DataFrame对象，可选True或False，默认为False；
– validate：是否检查连接键是否包含在连接的DataFrame对象中，可选None、One_to_One、Many_to_One和Many_to_Many，默认为None。
示例：
import pandas as pd
# 创建两个DataFrame对象
left_df = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'],
'A': ['A0', 'A1', 'A2', 'A3'],
'B': ['B0', 'B1', 'B2', 'B3']})
right_df = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'],
'C': ['C0', 'C1', 'C2', 'C3'],
'D': ['D0', 'D1', 'D2', 'D3']})
# 按照key列进行连接
merged_df = pd.merge(left_df, right_df, on='key')
print(merged_df)
输出结果：
key A B C D
0 K0 A0 B0 C0 D0
1 K1 A1 B1 C1 D1
2 K2 A2 B2 C2 D2
3 K3 A3 B3 C3 D3
concat函数
concat函数是pandas中用于合并多个DataFrame对象的函数，其主要作用是将多个DataFrame对象进行拼接，具体用法如下：
concat_df = pd.concat(objs, axis=0, join='outer', ignore_index=False, keys=None,
levels=None, names=None, verify_integrity=False, copy=True)
参数说明：
– objs：待拼接的多个DataFrame对象，可以是一个列表、字典或生成器；
– axis：拼接方向，可选0或1，默认为0；
– join：连接方式，可选inner、outer，默认为outer；
– ignore_index：是否忽略DataFrame对象中的原有行索引，可选True或False，默认为False；
– keys：用于制作层次化索引的数组或者元组列表，默认为None；
– levels：用于在n级分层索引上制作分级索引的索引列表，默认为None；
– names：用于制定分级索引中索引层次的名称列表，默认为None；
– verify_integrity：是否检查拼接后的DataFrame对象中是否有重复索引值，可选True或False，默认为False；
– copy：是否对拼接后的DataFrame对象进行复制，可选True或False，默认为True。
示例：
import pandas as pd
# 创建两个DataFrame对象
df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
'B': ['B0', 'B1', 'B2', 'B3'],
'C': ['C0', 'C1', 'C2', 'C3'],
'D': ['D0', 'D1', 'D2', 'D3']})
df2 = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'],
'B': ['B4', 'B5', 'B6', 'B7'],
'C': ['C4', 'C5', 'C6', 'C7'],
'D': ['D4', 'D5', 'D6', 'D7']})
# 按照行进行拼接
concat_df = pd.concat([df1, df2], axis=0)
print(concat_df)
输出结果：
A B C D
0 A0 B0 C0 D0
1 A1 B1 C1 D1
2 A2 B2 C2 D2
3 A3 B3 C3 D3
0 A4 B4 C4 D4
1 A5 B5 C5 D5
2 A6 B6 C6 D6
3 A7 B7 C7 D7
join函数
join函数是pandas中另一个用于表连接的函数，其作用与merge函数类似，具体用法如下：
joined_df = left.join(right, on=None, how='left', lsuffix='', rsuffix='', sort=False)
该函数主要参数与merge函数一致，使用方法也差不多，不过join函数主要是针对行索引进行连接，因此常在处理行索引有关联的DataFrame对象时使用。
示例：
import pandas as pd
# 创建两个DataFrame对象，并设置行索引
left_df = pd.DataFrame({'A': ['A0', 'A1', 'A2'],
'B': ['B0', 'B1', 'B2']},
index=['K0', 'K1', 'K2'])
right_df = pd.DataFrame({'C': ['C0', 'C1', 'C2'],
'D': ['D0', 'D1', 'D2']},
index=['K0', 'K2', 'K3'])
# 按照行索引进行连接
joined_df = left_df.join(right_df, how='outer')
print(joined_df)
输出结果：
A B C D
K0 A0 B0 C0 D0
K1 A1 B1 NaN NaN
K2 A2 B2 C1 D1
K3 NaN NaN C2 D2
append函数
append函数也是pandas中用于表连接的一个函数，主要作用是将多个字符串连接到一个字符串中，但也可以用于将多个DataFrame对象进行行合并，具体用法如下：
appended_df = df1.append(other, ignore_index=False, verify_integrity=False, sort=False)
参数说明：
– other：待拼接的DataFrame对象；
– ignore_index：是否忽略DataFrame对象中的原有行索引，可选True或False，默认为False；
– verify_integrity：是否检查拼接后的DataFrame对象中是否有重复索引值，可选True或False，默认为False；
– sort：是否按索引对合并后的DataFrame对象进行排序，默认为False。
示例：
import pandas as pd
# 创建两个DataFrame对象，并设置行索引
df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2'],
'B': ['B0', 'B1', 'B2']},
index=['K0', 'K1', 'K2'])
df2 = pd.DataFrame({'A': ['A3', 'A4', 'A5'],
'B': ['B3', 'B4', 'B5']},
index=['K3', 'K4', 'K5'])
# 按照行进行拼接
appended_df = df1.append(df2)
print(appended_df)
输出结果：
A B
K0 A0 B0
K1 A1 B1
K2 A2 B2
K3 A3 B3
K4 A4 B4
K5 A5 B5