摘要:寫這篇文章主要是想按照一定的邏輯順總結(jié)一下自己做項目以來序用到過的的知識點雖然官方文檔上各個方面都寫的很清楚但是還是想自己再寫一份一個是想作為個人梳理另外也可以把最經(jīng)常使用的部分拎出來更清晰一些不定時更新數(shù)據(jù)的讀數(shù)據(jù)其中是需要的語句是創(chuàng)建的
寫這篇文章,主要是想按照一定的邏輯順總結(jié)一下自己做項目以來,序用到過的pandas的知識點.
雖然pandas官方文檔上各個方面都寫的很清楚,但是還是想自己再寫一份,一個是想作為個人梳理,另外也可以把最經(jīng)常使用的部分拎出來,更清晰一些.
不定時更新.
數(shù)據(jù)的IO MySQL1.讀mysq數(shù)據(jù)
df = pd.read_sql(sql, db.conn)
其中sql是需要的sql語句,db是創(chuàng)建的數(shù)據(jù)庫連接對象.
一般來說,這樣基本就能滿足需求.
額外的參數(shù)
1. chunksize : int, default None 當(dāng)數(shù)據(jù)量比較大,或者想將讀入的數(shù)據(jù)分割成指定行數(shù)的一個個block,則可以設(shè)置這個參數(shù).其會返回一個迭代器,迭代器中的元素為chunksize行數(shù)的記錄. 2. index_col : string or list of strings, optional, default: None 可以設(shè)置某些列為索引列.
pandas.read_sql文檔
2.寫mysql數(shù)據(jù)
engine = create_engine("mysql+pymysql://root:password@localhost/schemeName", echo=False) df.to_sql(tablename, engine, if_exists="append", index=index)
將df的數(shù)據(jù)寫入到數(shù)據(jù)庫表中.pandas文檔中提供的例子是SQlite的數(shù)據(jù)庫,所以不能直接用db.conn去充當(dāng)engine.
參數(shù)說明
1. if_exists: {‘fail’, ‘replace’, ‘a(chǎn)ppend’}, default ‘fail’ 當(dāng)數(shù)據(jù)庫中存在要寫入的table時,三種處理方式 fail:那么寫入失敗 replace:把原來的table刪掉,寫入新的 append:在原來的table上,添加新的記錄 2. index : boolean, default True 當(dāng)設(shè)為True時,會把df的index當(dāng)成一列寫入數(shù)據(jù)庫.
pandas.DataFrame.to_sql文檔
csv1.讀數(shù)據(jù)
df = pd.read_csv(path + filename, header=None, names=[name1, name2])
參數(shù)說明
1.header: int or list of ints, default ‘infer’ 用來指定行號作為數(shù)據(jù)的開始和列的名稱.header設(shè)為None是告訴其打開的文件里沒有列名.如果打開的文件有列名的時候,可以不設(shè)置這一項,這樣系統(tǒng)會自動推測出列名. 2.names : array-like, default None 顯示地指定列的名稱.當(dāng)header是None的時候,需要加上這個.
關(guān)于這個函數(shù),可設(shè)置的參數(shù)還比較多,不過目前使用的也就這幾個,所以先不描述其他了.
pandas.read_csv文檔
2.寫數(shù)據(jù)
df.to_csv(path+filename, index=False, header=header, mode="a")
參數(shù)說明
1.index: boolean, default True 說明是否需要寫入df的index. 2.header : boolean or list of string, default True 說明是否要把列名寫入.也可以在這里重新設(shè)置寫入的列名. 3.mode : str,default ‘w’ python的寫入模式.
pandas.DataFrame.to_csv文檔
excel 直接創(chuàng)建dateFrame 數(shù)據(jù)的選擇 簡單選擇選擇部分行
選擇部分列
選擇數(shù)值
按照條件進(jìn)行篩選單一條件篩選
多個條件篩選
數(shù)據(jù)的聚合值描述 數(shù)據(jù)的修改 索引信息的修改 數(shù)據(jù)的合并concat
merge
join
數(shù)據(jù)的可視化 時間序列相關(guān)數(shù)據(jù)采樣
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/41218.html
摘要:它還使用執(zhí)行所謂的鏈?zhǔn)剿饕@通常會導(dǎo)致意外的結(jié)果。但這種方法的最大問題是計算的時間成本。這些都是一次產(chǎn)生一行的生成器方法,類似中使用的用法。在這種情況下,所花費的時間大約是方法的一半。根據(jù)每小時所屬的應(yīng)用一組標(biāo)簽。 作者:xiaoyu 微信公眾號:Python數(shù)據(jù)科學(xué) 知乎:python數(shù)據(jù)分析師 showImg(https://segmentfault.com/img/bVboe...
摘要:利用的一些輔助函數(shù)進(jìn)行類型轉(zhuǎn)換的函數(shù)和復(fù)雜的自定函數(shù)之間有一個中間段,那就是的一些輔助函數(shù)。這些輔助函數(shù)對于某些特定數(shù)據(jù)類型的轉(zhuǎn)換非常有用如。 利用Pandas進(jìn)行數(shù)據(jù)分析時,確保使用正確的數(shù)據(jù)類型是非常重要的,否則可能會導(dǎo)致一些不可預(yù)知的錯誤發(fā)生。筆者使用Pandas已經(jīng)有一段時間了,但是還是會在一些小問題上犯錯誤,追根溯源發(fā)現(xiàn)在對數(shù)據(jù)進(jìn)行操作時某些特征列并不是Pandas所能處理的...
當(dāng)使用TensorFlow進(jìn)行數(shù)據(jù)分析和機器學(xué)習(xí)時,經(jīng)常需要使用Pandas庫來處理數(shù)據(jù)。在本文中,我將向您介紹如何在TensorFlow中安裝Pandas庫。 首先,確保您已經(jīng)安裝了TensorFlow。如果您還沒有安裝TensorFlow,請按照官方文檔中的說明進(jìn)行安裝。 接下來,打開您的Python環(huán)境。您可以使用Anaconda Navigator或在命令行中輸入python來打開Py...
摘要:幀的基礎(chǔ)屬性下面來介紹中的一些基礎(chǔ)屬性,這與中的一些功能類似。下面來看看如何在和中,通過對分組來得到列的均值分組分組代表什么在中,代表,它提供一種簡單的方式來引用當(dāng)前正在操作的幀。 showImg(https://segmentfault.com/img/remote/1460000019598242);作者 | Parul Pandey 【導(dǎo)讀】工具包 datatable 的功能特征...
摘要:下面讓我們開始提速假設(shè)我們現(xiàn)在的電價是定值,不根據(jù)用電時間段來改變,那么中最快的方法那就是采用,這就是一個簡單的矢量化操作示范。它基本是在中運行最快的方式。 Pandas 加速 大家好,今天我們來看有關(guān)pandas加速的小技巧,不知道大家在剛剛接觸pandas的時候有沒有聽過如下的說法 pandas太慢了,運行要等半天 其實我想說的是,慢不是pandas的錯,大家要知道pandas本身...
閱讀 2757·2021-11-22 14:45
閱讀 903·2021-10-15 09:41
閱讀 1067·2021-09-27 13:35
閱讀 3684·2021-09-09 11:56
閱讀 2632·2019-08-30 13:03
閱讀 3196·2019-08-29 16:32
閱讀 3303·2019-08-26 13:49
閱讀 770·2019-08-26 10:35