用Python做數(shù)據(jù)分析：Pandas常用數(shù)據(jù)查詢語法

gghyoo 發(fā)布于2019-07-30 14:51 / 631人閱讀

摘要：在使用之前，大多數(shù)數(shù)據(jù)分析師已經(jīng)掌握了和，并且在剛上手時(shí)會(huì)經(jīng)常習(xí)慣性想到老辦法。這種根據(jù)列值選取行數(shù)據(jù)的查詢操作，推薦使用方法。如果我又有一批數(shù)據(jù)，需要將兩部分?jǐn)?shù)據(jù)合并。

大毛 豈安科技業(yè)務(wù)風(fēng)險(xiǎn)分析師 
多年訂單業(yè)務(wù)反欺詐經(jīng)驗(yàn)，負(fù)責(zé)豈安科技多款產(chǎn)品運(yùn)營工作。

在使用Pandas之前，大多數(shù)數(shù)據(jù)分析師已經(jīng)掌握了Excel和SQL，并且在剛上手Pandas時(shí)會(huì)經(jīng)常習(xí)慣性想到“老辦法”。"如果誰能把常用的數(shù)據(jù)查詢語法做個(gè)對比就好了 "，我也曾不止一次地想享受前人的成果，無奈發(fā)現(xiàn)網(wǎng)上的文章側(cè)重不同且深淺不一，還涉及到一些Pandas新老版本的問題，于是決定自己動(dòng)手。

一、舉例的數(shù)據(jù)

假設(shè)我有個(gè)六列的dataframe：一列是銷售員，一列是所屬團(tuán)隊(duì)，其它四列分別是四個(gè)季度的銷售額。

1新增列-基于原有列的全年銷售額

首先df["Total "]確保了你在該df內(nèi)新增了一個(gè)column，然后累加便可。

df["Total"] = df["Q1"]+df["Q2"]+df["Q3"]+df["Q4"]

你可能想使用諸如sum()的函數(shù)進(jìn)行這步，很可惜，sum()方法只能對列進(jìn)行求和，幸好它可以幫我們求出某季度的總銷售額。df["Q1"].sum()，你就能得到一個(gè)Q1的總銷售額，除此之外，其他的聚合函數(shù)，max,min,mean都是可行的。

2分組統(tǒng)計(jì) - 團(tuán)隊(duì)競賽

那么按團(tuán)隊(duì)進(jìn)行統(tǒng)計(jì)呢？在mysql里是group by，Pandas里也不例外，你只需要df.groupby("Team").sum()就能看到期望的答案了。

3排序 - 誰是銷售冠軍

如果你關(guān)心誰的全年銷售額最多，那么就要求助于sort_values方法了，在excel內(nèi)是右鍵篩選，SQL內(nèi)是一個(gè)orderby。默認(rèn)是順序排列的，所以要人為設(shè)定為False，如果你只想看第一名，只需要在該語句末尾添加.head(1) 。

5切片-只給我看我關(guān)心的行

接下來就是涉及一些條件值的問題，例如我只關(guān)心Team為A的數(shù)據(jù)，在Excel里是篩選框操作，在SQL里寫個(gè)where就能搞定，在Pandas里需要做切片。

查看Pandas文檔時(shí)，你可能已經(jīng)見過各種切片的函數(shù)了，有l(wèi)oc,iloc,ix,iy，這里不會(huì)像教科書一樣所有都講一通讓讀者搞混。這種根據(jù)列值選取行數(shù)據(jù)的查詢操作，推薦使用loc方法。

df.loc[df["Team"]== "A",["Salesman", "Team","Year"]]，這里用SQL語法理解更方便，loc內(nèi)部逗號前面可以理解為where，逗號后可以理解為select的字段。

如果想全選出，那么只需將逗號連帶后面的東西刪除作為缺省，即可達(dá)到select *的效果。

6切片 - 多條件篩選

在Pandas中多條件切片的寫法會(huì)有些繁瑣，df.loc[ (df["Team"]== "A" ) & (df["Total"] > 15000 ) ]，添加括號與條件符。

這里有一個(gè)有意思的小應(yīng)用，如果你想給符合某些條件的員工打上優(yōu)秀的標(biāo)簽，你就可以結(jié)合上述新增列和切片兩點(diǎn)，進(jìn)行條件賦值操作。

df.loc[ (df["Team"]== "A" ) & (df["Total"] > 15000 ) , "Tag"] = "Good"

7刪除列 - 和查詢無關(guān)，但是很有用

當(dāng)然這里只是個(gè)舉例，這時(shí)候我想刪除Tag列，可以del df["Tag"]，又回到了之前。

二、連接

接下來要講join了，現(xiàn)在有每小時(shí)銷售員的職位對應(yīng)表pos，分為Junior和Senior，要將他們按對應(yīng)關(guān)系查到df中。

這里需要認(rèn)識(shí)一下新朋友，merge方法，將兩張表作為前兩個(gè)輸入，再定義連接方式和對應(yīng)鍵。對應(yīng)到Excel中是Vlookup，SQL中就是join。在pandas里的連接十分簡單。

df = pd.merge(df, pos, how="inner", on="Salesman")

注意，這個(gè)時(shí)候其實(shí)我們是得到了新的df，如果不想覆蓋掉原有的df，你可以在等號左邊對結(jié)果重新命名。

這時(shí)候有了兩組標(biāo)簽列（對應(yīng)數(shù)值列），就可以進(jìn)行多重groupby了。

當(dāng)然這樣的結(jié)果并不能公平地反應(yīng)出哪一組更好，因?yàn)槊拷M的組員人數(shù)不同，可能有平均數(shù)的參與會(huì)顯得更合理，并且我們只想依據(jù)全年綜合來評價(jià)。

這里的數(shù)據(jù)是捏造的，不過也一目了然了。

三、合并操作

最后以最簡單的一個(gè)合并操作收尾。

如果我又有一批數(shù)據(jù)df2，需要將兩部分?jǐn)?shù)據(jù)合并。只需要使用concat方法，然后傳一個(gè)列表作為參數(shù)即可。不過前提是必須要保證他們具有相同類型的列，即使他們結(jié)構(gòu)可能不同（df2的Team列在末尾，也不會(huì)影響concat結(jié)果，因?yàn)閜andas具有自動(dòng)對齊的功能）。

pd.concat([df,df2])

尾聲

以上就是一些基礎(chǔ)的Pandas數(shù)據(jù)查詢操作了。作為Pandas初學(xué)者，如果能善用類比遷移的方法進(jìn)行學(xué)習(xí)并進(jìn)行總結(jié)是大有裨益的。如果看完本文還沒有能了解到你關(guān)心的查詢方法，可以留言聯(lián)系，或許還可以有續(xù)集。