Pandas 去除重复

去除重复数据是一项常见操作,Pandas中,可以使用drop_duplicates方法。

电影数据集没有重复的行,我们来制造一些重复行。

temp_df = movies_df.append(movies_df)

temp_df.shape

输出

(2000, 11)

append()将返回一个副本,不影响原始数据DataFrame。使用.shape属性查看形状,可以看到数据增加了一倍。

接下来删除重复数据:

temp_df2 = temp_df.drop_duplicates()

temp_df2.shape

输出

(1000, 11)

append()一样,此处drop_duplicate()方法也将返回副本。

如果想直接在原数据上修改,可以指定参数:inplace=True,Pandas的许多方法都可使用inplace参数。

temp_df.drop_duplicates(inplace=True)

temp_df被直接修改,里面的重复项被去除。

drop_duplicate()的另一个重要参数是keep,它有三个可能的选项:

first: (默认)删除重复项,但保留的是首次出现的项。
last: 删除重复项,但保留的是最后出现的项。
False: 删除重复项,不保留任何重复项。

前面的示例中没有定义keep参数,所以默认值为first。这意味着如果两行是相同的,Pandas将删除第二行保留第一行。使用last效果相反: 第一行被删除保留第二行。False值会删除所有的重复项,如果两行是相同的,这两行都将被删除。

temp_df = movies_df.append(movies_df)  # make a new copy

temp_df.drop_duplicates(inplace=True, keep=False)

temp_df.shape

输出

(0, 11)

因为所有行都是重复的,所以keep=False将删除所有行。



浙ICP备17015664号 浙公网安备 33011002012336号 联系我们 网站地图  
@2019 qikegu.com 版权所有,禁止转载