python - 数据框行的条件合并

Question

我有一个 2xN 的聊天消息数据框，我试图找到最干净的方法来合并来自同一说话者的连续消息。这是我正在使用的数据示例：

mydata = pd.DataFrame(data=[['A','random text'],
                            ['B','random text'],
                            ['A','random text'],
                            ['A','random text'],
                            ['A','random text'],
                            ['B','random text'],
                            ['A','random text'],
                            ['B','random text'],
                            ['B','random text'],
                            ['A','random text']], columns=['speaker','message'])

希望您能看到发言者的顺序不是我想要的 ABAB 格式。相反，有一些 AAAB 和 ABBA 序列。我目前的想法是从头开始重建数据框，检查每一行的 ID 与下一个索引位置的 ID...

mergeCheck = True
while mergeCheck is True:
    # set length of the dataframe
    lenDF = len(mydata)
# empty list to rebuild dataframe
mergeDF = []
# set index position at the beginning of dataframe
i = 0            
while i < lenDF-1:
   # check whether adjacent rows have different ID
   if mydata['speaker'].iloc[i] != mydata['speaker'].iloc[i+1]:
       # if true, append row as is to mergeDF list
       mergeDF.append([mydata['speaker'].iloc[i],
                       mydata['message'].iloc[i]])
       # increase index position by 1
       i +=1
   else:
       # merge messages
       mergeDF.append([mydata['speaker'].iloc[i],
                       mydata['message'].iloc[i] + mydata['message'].iloc[i+1]])
       # increase index position by 2
       i +=2
# exit the loop if index position falls on the last message
if i == lenDF-1: 
    # if true, append row as is to mergeDF list
    mergeDF.append([mydata['speaker'].iloc[i],
                    mydata['message'].iloc[i]])
    # increase counter by 1
    i +=1
if i == lenDF:
    mergeCheck = False

但是，这仅适用于两个相邻的消息。回到我的原始数据，当放入数据框时，上述函数会生成以下输出......

--------------------------
  speaker  |   message
--------------------------
    A         'random text'
    B         'random text'
    A         'random textrandom text'
    A         'random text'
    B         'random text'
    A         'random text'
    B         'random textrandom text'
    A         'random text'
--------------------------

我曾考虑扩展该函数以检查 i 的更多比较（即 '.iloc[i] != .iloc[i+2]' 或 '.iloc[i] != .iloc[i+3]'等），但这很快就会变得不可行。我认为我需要的是某种方法来重复上述功能，直到数据帧处于所需的格式。但我不确定该怎么做。

标签： pythonpandas

Answer 1

一个可能的解决方案是：

df1 = mydata[mydata['speaker']=='A'].reset_index()
df2= mydata[mydata['speaker']=='B'].reset_index()
df = pd.concat([df1, df2]).sort_index()

返回

  index speaker      message
0      0       A  random text
0      1       B  random text
1      2       A  random text
1      5       B  random text
2      3       A  random text
2      7       B  random text
3      4       A  random text
3      8       B  random text
4      6       A  random text
5      9       A  random tex

如果您有这些时间戳，请记住在重置索引之前按时间/日期排序。另外，连接时要注意时间。

编辑

在您在评论中澄清之后，我建议这样做。首先创建一个匹配相等实体（A，B）的键，然后按扬声器和实体（键）分组

df['key'] = (df['speaker'] != df['speaker'].shift(1)).astype(int).cumsum()

这使

  speaker      message  key
0       A  random text    1
1       B  random text    2
2       A  random text    3
3       A  random text    3
4       A  random text    3
5       B  random text    4
6       A  random text    5
7       B  random text    6
8       B  random text    6
9       A  random text    7

现在，你只需要 groupby

df = df.groupby(['key', 'speaker'])['message'].apply(' '.join)
df

这使

key  speaker
1    A                                  random text
2    B                                  random text
3    A          random text random text random text
4    B                                  random text
5    A                                  random text
6    B                      random text random text
7    A                                  random text