摘要:幀的基礎屬性下面來介紹中的一些基礎屬性,這與中的一些功能類似。下面來看看如何在和中,通過對分組來得到列的均值分組分組代表什么在中,代表,它提供一種簡單的方式來引用當前正在操作的幀。
作者 | Parul Pandey
【導讀】工具包 datatable 的功能特征與 Pandas 非常類似,但更側重于速度以及對大數據的支持。此外,datatable 還致力于實現更好的用戶體驗,提供有用的錯誤提示消息和強大的 API 功能。通過本文的介紹,你將學習到如何在大型數據集中使用 datatable 包進行數據處理,特別在數據量特別大的時候你可以發現它可能比 Pandas 更加強大。
前言data.table 是 R 中一個非常通用和高性能的包,使用簡單、方便而且速度快,在 R 語言社區非常受歡迎,每個月的下載量超過 40 萬,有近 650 個 CRAN 和 Bioconductor 軟件包使用它。如果你是 R 的使用者,可能已經使用過 data.table 包。
而對于 Python 用戶,同樣存在一個名為 datatable 包,專注于大數據支持、高性能內存/內存不足的數據集以及多線程算法等問題。在某種程度上,datatable 可以被稱為是 Python 中的 data.table。
Datatable初教程為了能夠更準確地構建模型,現在機器學習應用通常要處理大量的數據并生成多種特征,這已成為必要的。而 Python 的 datatable 模塊為解決這個問題提供了良好的支持,以可能的最大速度在單節點機器上進行大數據操作 (最多100GB)。datatable 包的開發由 H2O.ai 贊助,它的第一個用戶是 Driverless.ai。
接下來,我們就開始初體驗一下 datatable 的簡單使用。
安裝在 MacOS 系統上,datatable 包可以通過 pip 命令安裝,如下圖所示:
pip install datatable
在 Linux 平臺上,安裝過程需要通過二進制分布來實現,如下所示:
If you have Python 3.5pip install?https://s3.amazonaws.com/h2o-release/datatable/stable/datatable-0.8.0/datatable-0.8.0-cp35-cp35m-linux_x86_64.whl#?If you have Python 3.6pip install?https://s3.amazonaws.com/h2o-release/datatable/stable/datatable-0.8.0/datatable-0.8.0-cp36-cp36m-linux_x86_64.whl很遺憾的是,目前 datatable 包還不能在 Windows 系統上工作,但 Python 官方也在努力地增加其對 Windows 的支持。更多的信息可以查看 Build instructions 的說明。
地址:https://datatable.readthedocs.io/en/latest/install.html
數據讀取這里使用的數據集是來自 Kaggle 競賽中的 Lending Club Loan Data 數據集, 該數據集包含2007-2015期間所有貸款人完整的貸款數據,即當前貸款狀態 (當前,延遲,全額支付等) 和最新支付信息等。整個文件共包含226萬行和145列數據,數據量規模非常適合演示 datatable 包的功能。
Importing necessary Librariesimport numpy as npimport pandas as pdimport datatable as dt首先將數據加載到 Frame 對象中,datatable 的基本分析單位是 Frame,這與Pandas DataFrame 或 SQL table 的概念是相同的:即數據以行和列的二維數組排列展示。
datatable 讀取%%timedatatable_df = dt.fread("data.csv")____________________________________________________________________CPU times: user 30 s, sys: 3.39 s, total: 33.4 s Wall time: 23.6 s
如上圖,fread() 是一個強大又快速的函數,能夠自動檢測并解析文本文件中大多數的參數,所支持的文件格式包括 .zip 文件、URL 數據,Excel 文件等等。此外,datatable 解析器具有如下幾大功能:
能夠自動檢測分隔符,標題,列類型,引用規則等。能夠讀取多種文件的數據,包括文件,URL,shell,原始文本,檔案和 glob 等。提供多線程文件讀取功能,以獲得最大的速度。在讀取大文件時包含進度指示器。可以讀取 RFC4180 兼容和不兼容的文件。
pandas 讀取下面,使用 Pandas 包來讀取相同的一批數據,并查看程序所運行的時間。
%%timepandas_df= pd.read_csv("data.csv")___________________________________________________________CPU times: user 47.5 s, sys: 12.1 s, total: 59.6 sWall time: 1min 4s
由上圖可以看到,結果表明在讀取大型數據時 datatable 包的性能明顯優于 Pandas,Pandas 需要一分多鐘時間來讀取這些數據,而 datatable 只需要二十多秒。
幀轉換 (Frame Conversion)
對于當前存在的幀,可以將其轉換為一個 Numpy 或 Pandas dataframe 的形式,如下所示:
numpy_df = datatable_df.to_numpy()pandas_df = datatable_df.to_pandas()
下面,將 datatable 讀取的數據幀轉換為 Pandas dataframe 形式,并比較所需的時間,如下所示:
%%timedatatable_pandas = datatable_df.to_pandas()___________________________________________________________________CPU times: user 17.1 s, sys: 4 s, total: 21.1 sWall time: 21.4 s
看起來將文件作為一個 datatable frame 讀取,然后將其轉換為 Pandas dataframe比直接讀取 Pandas dataframe 的方式所花費的時間更少。因此,通過 datatable 包導入大型的數據文件再將其轉換為 Pandas dataframe 的做法是個不錯的主意。
type(datatable_pandas)___________________________________________________________________pandas.core.frame.DataFrame
幀的基礎屬性下面來介紹 datatable 中 frame 的一些基礎屬性,這與 Pandas 中 dataframe 的一些功能類似。
print(datatable_df.shape) # (nrows, ncols)print(datatable_df.names[:5]) # top 5 column namesprint(datatable_df.stypes[:5]) # column types(top 5)______________________________________________________________(2260668, 145)("id", "member_id", "loan_amnt", "funded_amnt", "funded_amnt_inv")(stype.bool8, stype.bool8, stype.int32, stype.int32, stype.float64)
也可以通過使用 head 命令來打印出輸出的前 n 行數據,如下所示:
datatable_df.head(10)
注意:這里用顏色來指代數據的類型,其中紅色表示字符串,綠色表示整型,而藍色代表浮點型。
統計總結在 Pandas 中,總結并計算數據的統計信息是一個非常消耗內存的過程,但這個過程在 datatable 包中是很方便的。如下所示,使用 datatable 包計算以下每列的統計信息:
datatable_df.sum() datatable_df.nunique()datatable_df.sd() datatable_df.max()datatable_df.mode() datatable_df.min()datatable_df.nmodal() datatable_df.mean()
下面分別使用 datatable 和Pandas 來計算每列數據的均值,并比較二者運行時間的差異。
datatable 讀取%%timedatatable_df.mean()_______________________________________________________________CPU times: user 5.11 s, sys: 51.8 ms, total: 5.16 sWall time: 1.43 s
Pandas 讀取pandas_df.mean()__________________________________________________________________Throws memory error.
可以看到,使用 Pandas 計算時拋出內存錯誤的異常。
數據操作和 dataframe 一樣,datatable 也是柱狀數據結構。在 datatable 中,所有這些操作的主要工具是方括號,其靈感來自傳統的矩陣索引,但它包含更多的功能。諸如矩陣索引,C/C++,R,Pandas,Numpy 中都使用相同的 DT[i,j] 的數學表示法。下面來看看如何使用 datatable 來進行一些常見的數據處理工作。
選擇行/列的子集
下面的代碼能夠從整個數據集中篩選出所有行及 funded_amnt 列:
datatable_df[:,"funded_amnt"]
這里展示的是如何選擇數據集中前5行3列的數據,如下所示:
datatable_df[:5,:3]
幀排序datatable 排序
在 datatable 中通過特定的列來對幀進行排序操作,如下所示:
%%timedatatable_df.sort("funded_amnt_inv")_________________________________________________________________CPU times: user 534 ms, sys: 67.9 ms, total: 602 msWall time: 179 ms
Pandas 排序%%timepandas_df.sort_values(by = "funded_amnt_inv")___________________________________________________________________CPU times: user 8.76 s, sys: 2.87 s, total: 11.6 sWall time: 12.4 s
可以看到兩種包在排序時間方面存在明顯的差異。
刪除行/列
下面展示如何刪除 member_id 這一列的數據:
del datatable_df[:, "member_id"]
分組 (GroupBy)
與 Pandas 類似,datatable 同樣具有分組 (GroupBy) 操作。下面來看看如何在 datatable 和 Pandas 中,通過對 grade 分組來得到 funded_amout 列的均值:
datatable 分組%%timefor i in range(100): datatable_df[:, dt.sum(dt.f.funded_amnt), dt.by(dt.f.grade)]____________________________________________________________________CPU times: user 6.41 s, sys: 1.34 s, total: 7.76 sWall time: 2.42 s
pandas 分組%%timefor i in range(100): pandas_df.groupby("grade")["funded_amnt"].sum()____________________________________________________________________CPU times: user 12.9 s, sys: 859 ms, total: 13.7 sWall time: 13.9 s
f 代表什么
在 datatable 中,f 代表 frame_proxy,它提供一種簡單的方式來引用當前正在操作的幀。在上面的例子中,dt.f 只代表 dt_df。
過濾行
在 datatable 中,過濾行的語法與GroupBy的語法非常相似。下面就來展示如何過濾掉 loan_amnt 中大于 funding_amnt 的值,如下所示。
datatable_df[dt.f.loan_amnt>dt.f.funded_amnt,"loan_amnt"]
保存幀
在 datatable 中,同樣可以通過將幀的內容寫入一個 csv 文件來保存,以便日后使用。如下所示:
datatable_df.to_csv("output.csv")
有關數據操作的更多功能,可查看 datatable 包的說明文檔
地址:https://datatable.readthedocs.io/en/latest/using-datatable.html
總結在數據科學領域,與默認的 Pandas 包相比,datatable 模塊具有更快的執行速度,這是其在處理大型數據集時的一大優勢所在。然而,就功能而言,目前 datatable 包所包含的功能還不如 pandas 完善。相信在不久的將來,不斷完善的 datatable 能夠更加強大。
譯者 | linstancy
責編 | Jane
出品 | Python大本營(id:pythonnews)
本文所涉及的代碼可以從 Github 或 binder 上獲取:
Github 地址:https://github.com/parulnith/An-Overview-of-Python-s-Datatable-package)binder 地址:https://mybinder.org/v2/gh/parulnith/An-Overview-of-Python-s-Datatable-package/master?filepath=An%20Overview%20of%20Python%27s%20Datatable%20package.ipynb
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/44141.html
摘要:根據在年的調查顯示,近的數據科學家使用作為主要的編程語言,每一次的進步都是它成為數據分析主流工具的重要因素。根據進行的一項調查顯示,在上的月活躍用戶的占比在年后大幅上升。 昨天,微信的Python交流群出現了這樣的對話: showImg(https://segmentfault.com/img/bVbjV16?w=700&h=425); 看到這部分代碼交流,讓我不禁感受到Python的...
摘要:訓練集是用來訓練你的機器學習模型的。但機器學習,你也要教它一些事實,比如長得像圖片的就是狗,長得像圖片的就是貓。好了,這樣我們整體的一個機器學習的簡單項目就完成,但我們還是要看一下效果。 最近寫了Kaggle的一個playground項目——預測科比投籃是否命中https://www.kaggle.com/c/kobe...,主要使用python的pandas和sklearn包。 這里...
摘要:在本節中,我們將看到一些最流行和最常用的庫,用于機器學習和深度學習是用于數據挖掘,分析和機器學習的最流行的庫。愿碼提示網址是一個基于的框架,用于使用多個或進行有效的機器學習和深度學習。 showImg(https://segmentfault.com/img/remote/1460000018961827?w=999&h=562); 來源 | 愿碼(ChainDesk.CN)內容編輯...
摘要:原文鏈接譯文鏈接使用一步一步地來進行數據分析翔你已經決定來學習,但是你之前沒有編程經驗。在我看來精通用開發好的軟件才能夠高效地進行數據分析,這觀點是沒有必要的。 原文鏈接:Step by step approach to perform data analysis using Python 譯文鏈接:使用Python一步一步地來進行數據分析--By Michael翔 你已經決定來學習P...
摘要:最好是客戶雙擊,完事兒。目前已經兼容,以及和。一共會有個對象,分別是。,就是我們的工作目錄,存放我們的數據。編譯打包最后,我們執行就好了。打包的可執行文件會在里,中是一些打包時候需要的文件。輸出中最后有字樣,就算成功了。 showImg(https://img-blog.csdnimg.cn/20190303211533768.png?x-oss-process=image/water...
閱讀 540·2021-08-31 09:45
閱讀 1647·2021-08-11 11:19
閱讀 883·2019-08-30 15:55
閱讀 821·2019-08-30 10:52
閱讀 2845·2019-08-29 13:11
閱讀 2924·2019-08-23 17:08
閱讀 2833·2019-08-23 15:11
閱讀 3066·2019-08-23 14:33