Python基础之pandas数据合并

  • Post category:Python

下面我将详细讲解“Python基础之pandas数据合并”的完整攻略。

1. 引言

在数据分析和数据挖掘过程中,经常需要将多个数据表按照某些条件进行合并,以此来得到新的数据表,以便进行进一步的分析和处理。而Pandas是Python中一个非常强大的数据处理库,它提供了多个函数和方法来实现数据合并操作。

2. Pandas数据合并函数

Pandas提供了多个数据合并函数,包括merge、join和concat等。下面我们逐一介绍它们的用法。

2.1 merge函数

merge函数是Pandas中最常用的数据合并函数之一,它可以根据指定的一列或多列进行数据合并。merge函数的用法如下所示:

    pd.merge(left_df, right_df, on=None, how='inner')

其中,left_df和right_df是要合并的两个数据表,on是指定的合并键,即用哪一列作为合并的依据,默认为None,表示根据两个数据表的所有列进行合并;how是合并方式,包括inner、outer、left和right等选项,其中inner表示内连接,即只保留两个表中都存在的记录;outer表示全外连接,即保留两个表中的所有记录;left表示左外连接,即保留左表中的所有记录;right表示右外连接,即保留右表中的所有记录。

下面通过一个示例来说明merge函数的用法:

    #创建两个数据表
    left_df = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'],'A': ['A0', 'A1', 'A2', 'A3'],'B': ['B0', 'B1', 'B2', 'B3']})
    right_df = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'],'C': ['C0', 'C1', 'C2', 'C3'],'D': ['D0', 'D1', 'D2', 'D3']})
    #根据key列进行合并
    pd.merge(left_df,right_df,on='key')

输出结果如下:

    key  A   B   C   D
0   K0  A0  B0  C0  D0
1   K1  A1  B1  C1  D1
2   K2  A2  B2  C2  D2
3   K3  A3  B3  C3  D3

2.2 join函数

join函数是用于合并两个列名不同的数据表的函数,它类似于SQL语句中的join操作。join函数的用法如下所示:

    left_df.join(right_df, on=None, how='left', lsuffix='', rsuffix='')

其中,left_df和right_df分别为要合并的两个数据表,on为合并键,how为合并方式,lsuffix和rsuffix为列名后缀,当两个数据表中出现重名列时,可以通过设置lsuffix和rsuffix来使列名具有唯一性。

下面通过一个示例来说明join函数的用法:

   #创建两个数据表
   left_df = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],'B': ['B0', 'B1', 'B2', 'B3']}, index=['K0', 'K1', 'K2', 'K3'])
   right_df = pd.DataFrame({'C': ['C0', 'C1', 'C2', 'C3'],'D': ['D0', 'D1', 'D2', 'D3']}, index=['K0', 'K1', 'K2', 'K3'])
   #根据索引进行合并
   left_df.join(right_df)

输出结果如下:

      A   B   C   D
K0   A0  B0  C0  D0
K1   A1  B1  C1  D1
K2   A2  B2  C2  D2
K3   A3  B3  C3  D3

2.3 concat函数

concat函数可以将多个数据表进行纵向或横向拼接。concat函数的用法如下所示:

    pd.concat(objs, axis=0, join='outer', ignore_index=False)

其中,objs是要拼接的一个列表或字典,axis为拼接方向,0表示纵向拼接,即将多个数据表按照行方向进行拼接,1表示横向拼接,即将多个数据表按照列方向进行拼接;join表示拼接方式,包括outer、inner和自定义等选项。

下面通过一个示例来说明concat函数的用法:

    #创建两个数据表
    df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],'B': ['B0', 'B1', 'B2', 'B3'],'C': ['C0', 'C1', 'C2', 'C3'],'D': ['D0', 'D1', 'D2', 'D3']})
    df2 = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'],'B': ['B4', 'B5', 'B6', 'B7'],'C': ['C4', 'C5', 'C6', 'C7'],'D': ['D4', 'D5', 'D6', 'D7']})
    #纵向拼接
    pd.concat([df1,df2],axis=0)

输出结果如下:

    A   B   C   D
0  A0  B0  C0  D0
1  A1  B1  C1  D1
2  A2  B2  C2  D2
3  A3  B3  C3  D3
0  A4  B4  C4  D4
1  A5  B5  C5  D5
2  A6  B6  C6  D6
3  A7  B7  C7  D7

3. 总结

本次我们介绍了Pandas中的三个数据合并函数,包括merge、join和concat函数。在数据处理和分析过程中,我们经常需要将多个数据表按照某些条件进行合并,而Pandas提供了这些强大的函数和方法,使得我们可以很方便地进行数据合并操作。