pandas操作txt文件的方便之處

zhoutk 發布于2019-07-30 16:54 / 797人閱讀

摘要：使用文件分析數據遇到的問題有時候到手的數據基本是固定分隔符分隔的幾個文件，需要重里面做一些數據統計，比如去重，計算某一列的和，兩個文件的并集等等，如果能夠像一樣操作文件就好了，這就是帶來的好處如何加載文件示例文件數據安裝好在文件目錄中運行在

使用txt文件分析數據遇到的問題

有時候到手的數據基本是固定分隔符分隔的幾個文件，需要重里面做一些數據統計，比如去重，計算某一列的和，兩個文件的并集等等，如果能夠像sql一樣操作txt文件就好了，這就是pandas帶來的好處

如何加載txt文件？

示例文件數據 papa.txt

 paxi_id grade
  1       50
  2       50
  3       100
  4       200
  3       100
  5       100

安裝好jupyter ,在文件目錄中運行jupyter notebook,在打開的瀏覽器界面上，選擇python運行

在打開的界面上，運行加載的命令

import pandas #引入pandas
papa=pandas.read_csv("papa.txt",sep="	") #加載papa.txt,指定它的分隔符是 	
papa.head() #顯示數據的前幾行

可以看到加載的結果直觀的用表格展示

如何知道剛加載的數據有幾行？有幾列？

運行指令如下

rowNum=papa.shape[0] #不包括表頭
colNum=papa.columns.size

結果為

如何根據一列對整個數據進行去重？

運行指令如下

uPapa=papa.drop_duplicates(["paxi_id"])

結果如下

如何獲取一列的去重的值？去重后有多少個？

運行指令如下

uPaxiId=papa["paxi_id"].unique()
print("uPaxiId:",uPaxiId)
totalUPaxiIdNum=uPaxiId.size
print("num:",totalUPaxiIdNum)

運行結果如下

如何計算一列的和？

運行指令如下

papa["grade"].sum()

結果如下

如何過濾特定的值的行？

運行指令如下

papa[ ( papa["grade"] == 50 ) | ( papa["grade"] == 100 ) ]

結果如下

如何計算某一列各個取值的個數?

運行指令如下

gPapa=papa.groupby("grade").size()

結果如下

如何計算其中兩個或者所有的和？

運行指令如下

v=gPapa[50]+gPapa[100]
print("兩個的和:",v)
print("總和:",gPapa.sum())

結果如下

如何用圖形表示各個值？

運行指令如下

import matplotlib.pyplot as plt
fig=plt.figure()
gPapa.plot(kind="bar",grid=True) #bar 和 barh 能切換x軸，y軸
plt.show() #在需要顯示的時候調用，會一次把所有的圖都畫出來

結果如下

如何對兩個txt的文件根據一列做join?

另一個文件為xixi.txt

paxi_id    type
1    3
2    4
3    3
4    4
5    3

執行指令如下

xixi=pandas.read_csv("xixi.txt",sep="	")
uXixi=xixi.drop_duplicates(["paxi_id"])
pandas.merge(uPapa,uXixi,on=["paxi_id"]) #join

結果如下

附pandas官方文檔

https://pandas.pydata.org/pan... 有教程~

云服務器 GPU云服務器 linux的文件操作 oss支持的文件操作機柜托管最方便的機箱 TXT文本文件

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/41892.html

Python小世界：項目虛擬環境配置的N種方法

摘要：三個常用的虛擬環境配置來匯總，如有不適之處，還望各位大佬指正。一個項目對應一個，支持開發環境與正式環境區分。其使用創建環境，以便分隔使用不同版本和不同程序包的項目。前言和其他大多數現代編程語言一樣，Python對包和模塊的下載、存儲以及管理有其自己的一套方法。但是當我們同時開發多個項目工程的時候，不同的項目會將第三方的包存放在相同的路徑下。這就意味著，如果有兩個工程依賴同一個包，但是所...

kidsamong 2019-05-23 16:28 評論0 收藏0
想免費用谷歌資源訓練神經網絡？Colab 詳細使用教程 —— Jinkey 原創

摘要：網址庫的安裝和使用自帶了等深度學習基礎庫。遍歷目錄列出根目錄的所有文件查詢條件教程詳見可以看到控制臺打印結果測試其中是接下來的教程獲取文件的唯一標識。該示例演示的是對健康科技設計三個類別的標題進行分類。 showImg(https://segmentfault.com/img/remote/1460000012731670); 原文鏈接 https://jinkey.ai/post/t...

XboxYan 2019-06-26 18:19 評論0 收藏0
字符串與JavaScript之間的魔術—前端模板的原理及簡單實現

摘要：大多數模板實現原理基本一致模板字符串首先通過各種手段剝離出普通字符串和模板語法字符串生成抽象語法樹然后針對模板語法片段進行編譯，期間模板變量均去引擎輸入的變量中查找模板語法片段生成出普通片段，與原始普通字符串進行拼接輸出。前端模板的發展模板可以說是前端開發最常接觸的工具之一。將頁面固定不變的內容抽出成模板，服務端返回的動態數據裝填到模板中預留的坑位，最后組裝成完整的頁面html字符...

Steve_Wang_ 2019-08-23 11:42 評論0 收藏0