小編寫這篇文章的主要目的,主要是想給大家做出一個深入解答,解答一下關(guān)于Python pandas技術(shù),主要是如何找到數(shù)據(jù),然后對其進(jìn)行刪除,下面小編就給大家進(jìn)行詳細(xì)解答下。
前言
當(dāng)我們在使用Python pandas處理各種數(shù)據(jù)的時(shí)候,經(jīng)常性的會遇到一些問題,比如會遇到一些數(shù)據(jù)重復(fù)的問題,這個時(shí)候,我們需要做的就是找出產(chǎn)生問題的原因是什么。那么,pandas將會給我們提供兩種比較高效的方法:duplicated()和drop_duplicates()。
一、duplicated()
duplicated()可以被用在DataFrame的三種情況下,分別是pandas.DataFrame.duplicated、pandas.Series.duplicated和pandas.Index.duplicated。他們的用法都類似,前兩個會返回一個布爾值的Series,最后一個會返回一個布爾值的numpy.ndarray。
DataFrame.duplicated(subset=None,keep=‘first’)
subset:默認(rèn)為None,需要標(biāo)記重復(fù)的標(biāo)簽或標(biāo)簽序列
keep:默認(rèn)為‘first’,如何標(biāo)記重復(fù)標(biāo)簽
first:將除第一次出現(xiàn)以外的重復(fù)數(shù)據(jù)標(biāo)記為True
last:將除最后一次出現(xiàn)以外的重復(fù)數(shù)據(jù)標(biāo)記為True
False:將所有重復(fù)的項(xiàng)都標(biāo)記為True(不管是不是第一次出現(xiàn))
Series.duplicated(keep=‘first’)
keep:與DataFrame.duplicated的keep相同
Index.duplicated(keep=‘first’)
keep:與DataFrame.duplicated的keep相同
例子:
import pandas as pd df=pd.DataFrame({ 'brand':['Yum Yum','Yum Yum','Indomie','Indomie','Indomie'], 'style':['cup','cup','cup','pack','pack'], 'rating':[4,4,3.5,15,5] }) df
brand style rating
0 Yum Yum cup 4.0
1 Yum Yum cup 4.0
2 Indomie cup 3.5
3 Indomie pack 15.0
4 Indomie pack 5.0
df.duplicated()
0 False
1 True
2 False
3 False
4 False
dtype:bool
df.duplicated(keep='last')
0 True
1 False
2 False
3 False
4 False
dtype:bool
df.duplicated(keep=False)
0 True
1 True
2 False
3 False
4 False
dtype:bool
df.duplicated(subset=['brand'])
0 False
1 True
2 False
3 True
4 True
dtype:bool
關(guān)于Index的重復(fù)標(biāo)記:
df=df.set_index('brand')
df
style rating
brand
Yum Yum cup 4.0
Yum Yum cup 4.0
Indomie cup 3.5
Indomie pack 15.0
Indomie pack 5.0
df.index.duplicated()
array([False,True,False,True,True])
二、drop_duplicates()
與duplicated()類似,drop_duplicates()是直接把重復(fù)值給刪掉。下面只會介紹一些含義不同的參數(shù)。
DataFrame.drop_duplicates(subset=None,keep=‘first’,inplace=False)
subset:與duplicated()中相同
keep:與duplicated()中相同
inplace:與pandas其他函數(shù)的inplace相同,選擇是修改現(xiàn)有數(shù)據(jù)還是返回新的數(shù)據(jù)
Series.drop_duplicates()相比Series.duplicated()也是多了一個inplace參數(shù),和上訴介紹一樣,Index.drop_duplicates()與Index.duplicated()參數(shù)相同就不做贅述。下面是例子:
df=pd.DataFrame({ 'brand':['Yum Yum','Yum Yum','Indomie','Indomie','Indomie'], 'style':['cup','cup','cup','pack','pack'], 'rating':[4,4,3.5,15,5] }) df
brand style rating
0 Yum Yum cup 4.0
1 Yum Yum cup 4.0
2 Indomie cup 3.5
3 Indomie pack 15.0
4 Indomie pack 5.0
df.drop_duplicates()
brand style rating
0 Yum Yum cup 4.0
2 Indomie cup 3.5
3 Indomie pack 15.0
4 Indomie pack 5.0
df.drop_duplicates(inplace=True)
df
brand style rating
0 Yum Yum cup 4.0
2 Indomie cup 3.5
3 Indomie pack 15.0
4 Indomie pack 5.0
到此為止,小編寫的關(guān)于pandas內(nèi)容就為大家介紹到這里了,希望可以為各位讀者帶來幫助。
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/127960.html
目錄Numpy簡介Numpy操作集合1、不同維度數(shù)據(jù)的表示1.1 一維數(shù)據(jù)的表示1.2 二維數(shù)據(jù)的表示1.3 三維數(shù)據(jù)的表示2、 為什么要使用Numpy2.1、Numpy的ndarray具有廣播功能2.2 Numpy數(shù)組的性能比Python原生數(shù)據(jù)類型高3 ndarray的屬性和基本操作3.1 ndarray的基本屬性3.2 ndarray元素類型3.3 創(chuàng)建ndarray的方式3.4 ndarr...
為什么你需要pandas 大家好,今天想和大家分享一下有關(guān)pandas的學(xué)習(xí)新的,我因工作需要,從去年12月開始接觸這個非常好用的包,到現(xiàn)在為止也是算是熟悉了一些,因此發(fā)現(xiàn)了它的強(qiáng)大之處,特意想要和朋友們分享,特別是如果你每天和excel打交道,總是需要編寫一些vba函數(shù)或者對行列進(jìn)行g(shù)roupby啊,merge,join啊之類的,相信我,pandas會讓你解脫的。 好啦,閑話少說,這篇文章的基礎(chǔ)...
摘要:函數(shù)將單元格內(nèi)容以形式呈現(xiàn)。自動評論代碼自動注釋單元格中的選定行,再次命中組合將取消注釋相同的代碼行。如果需要恢復(fù)整個已刪除的單元格,請按或撤消刪除單元格。 showImg(https://segmentfault.com/img/remote/1460000019599210); 編譯:小七、蔣寶尚 一些小提示和小技巧可能是非常有用的,特別是在編程領(lǐng)域。有時(shí)候使用一點(diǎn)點(diǎn)黑客技術(shù),既可...
摘要:在這個教程中,我們將利用的和包來進(jìn)行數(shù)據(jù)清洗。在很多情況下,使用唯一的值作為索引值識別數(shù)據(jù)字段是非常有幫助的。清洗數(shù)據(jù)字段到現(xiàn)在為止,我們移除了不必要的列并改變了我們的索引變得更有意義。 作者:xiaoyu微信公眾號:Python數(shù)據(jù)科學(xué)知乎:Python數(shù)據(jù)分析師 數(shù)據(jù)科學(xué)家花了大量的時(shí)間清洗數(shù)據(jù)集,并將這些數(shù)據(jù)轉(zhuǎn)換為他們可以處理的格式。事實(shí)上,很多數(shù)據(jù)科學(xué)家聲稱開始獲取和清洗數(shù)據(jù)...
閱讀 911·2023-01-14 11:38
閱讀 878·2023-01-14 11:04
閱讀 740·2023-01-14 10:48
閱讀 1983·2023-01-14 10:34
閱讀 942·2023-01-14 10:24
閱讀 819·2023-01-14 10:18
閱讀 499·2023-01-14 10:09
閱讀 572·2023-01-14 10:02