国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Python實際操作HDF5文檔實例

89542767 / 425人閱讀

　　本文關鍵給大家介紹了Python實際操作HDF5文檔實例詳細說明，感興趣的小伙伴可以參考借鑒一下，希望可以有一定的幫助，祝愿大家多多的發展，盡早漲薪


　　前言


　　在Matlab操作HDF5文檔中早已闡述了HDF5文檔早已運用Matlab對它進行操控的方式。本文總的來說怎樣在Python下應用HDF5文檔。我們依然依照Matlab操作HDF5文件信息順序排列，各是建立HDF5文檔，載入數據信息，獲取數據。


　　Python中的HDF5文檔依靠h5py工具箱


　　更為關聯的兩大主要參數為shape和maxshape，很明顯我希望數據的某個層面是能夠拓展的，因此在maxshape中，將期待拓展的層面標識為None，別的層面和shape主要參數里邊的相同。有一點值得關注的是，使用compression='gzip'之后，全部數據能被很大的縮小，對較大的數據十分再用，而且在數據信息讀寫能力得時候，無需客戶顯式的編解碼。

　　h5file=h5py.File(filename,'w')

　　寫數據


　　X=h5file.create_dataset(shape=(0,args.patch_size,args.patch_size),#數據集的維度
　　maxshape=(None,args.patch_size,args.patch_size),#數據集的允許最大維度
　　dtype=float,compression='gzip',name='train',#數據類型、是否壓縮，以及數據集的名字
　　chunks=(args.chunk_size,args.patch_size,args.patch_size))#分塊存儲，每一分塊的大小


　　使用上邊的creat_dataset創立了dataset之后，讀寫能力數據就猶如讀寫能力numpy二維數組相同便捷，例如上邊的函數定義了數據'train'，其實就是自變量X之后，能夠下邊的方法去讀寫能力：


　　data=np.zeros((100,args.patch_size,arg))
　　X[0:100,:,:]=data


　　在前建立數據得時候，大家界定shape=(args.chunk_size,args.patch_size,args.patch_size)，假如擁有更多的數據信息，該怎么辦呢？

　　X.resize(X.shape[0]+args.chunk_size,axis=0)


　　能使用resize方的方法來拓展在maxshape中界定為None的那一個層面:


　　讀取數據集


　　h=h5py.File(hd5file,'r')
　　train=h['train']
　　train[1]
　　train[2]
　　...

　　載入h5文件信息方式也很簡單，最先運用h5py.File方法開啟相匹配的h5文檔，再將里邊某個數據取下至自變量，對于這個自變量的載入就猶如numpy一樣。


　　h=h5py.File(hd5file,'r')
　　train=h['train']
　　X=train[0:100]#一次從硬盤中讀取比較多的數據，X將存儲在內存中
　　X[1]#從內存中讀取
　　X[2]#從內存中讀取


　　可是上邊的載入方式存在一些問題是每一次使用時(train[1],train[2])都要從硬盤讀取數據信息，這也會造成載入速度較慢。1個比較靠譜的方法是什么，每一次從硬盤讀取一個chunk_size的數據信息，再將這類文件存儲到內存條中，在需要時從內存條中載入，例如應用上面的方式：


　　綜上所述，文章就給大家介紹到這里了，希望可以給大家帶來幫助。

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/128839.html

相關文章

  • h5py快速入門指南

    摘要：下面的文章主要介紹的快速入門指南，翻譯自的官方文檔。當使用時，最基本的準則為類似于字典，類似于中的數組。所有的和都支持幾個數據位的附屬命名，稱為屬性。 h5py是Python語言用來操作HDF5的模塊。下面的文章主要介紹h5py的快速入門指南，翻譯自h5py的官方文檔：http://docs.h5py.org/en/lates... 。該翻譯僅為個人學習h5py為目的，如有翻譯不當之處...

    desdik 評論0 收藏0

  • Caffe神經網絡服務層及主要參數

    　　此篇文章主要是給大家介紹了Caffe神經網絡服務層及主要參數實例詳細說明，感興趣的小伙伴可以參考借鑒一下，希望可以有一定的幫助，祝愿大家多多的發展，盡早漲薪　　前言　　要運行caffe，必須要先構建一個實體模型（model)，如較為常見的Lenet,Alex等，所以一個實體模型由好幾個屋（layer）構成，每個屋又由很多主要參數構成。每一個主要參數都界定在caffe.proto這一文檔中。要熟...

    89542767 評論0 收藏0

  • CentOS7.4，anaconda3，python3.6，tensorflow環境下gdal的編譯

    摘要：，，，環境下的編譯和問題解決這是可能會用到的額外的包，按自己需要先提前編譯。 CentOS7.4，anaconda3，python3.6，tensorflow環境下gdal的編譯和問題解決 showImg(https://segmentfault.com/img/bVbb607?w=258&h=379); 這是gdal可能會用到的額外的包，按自己需要先提前編譯。這里的話我主要用了pro...

    y1chuan 評論0 收藏0

  • Keras.js可以讓你使用瀏覽器在GPU上運行Keras模型

    摘要：項目可以讓你使用在驅動的你的瀏覽器上運行訓練好的模型。內核卷積本地連接噪聲備注及其限制可以與主線程分開單獨運行在中。所以在單獨的線程中運行的好處被必須運行在模式中的要求抵消了。所有的測試都會自動運行。 項目可以讓你使用 WebGL 在 GPU 驅動的、你的瀏覽器上運行訓練好的 Keras 模型。模型直接根據 Keras JSON 格式配置文件和關聯的 HDF5 權重而序列化（serializ...

    XiNGRZ 評論0 收藏0

  • 還在抱怨pandas運行速度慢？這幾個方法會顛覆你的看法

    摘要：它還使用執行所謂的鏈式索引，這通常會導致意外的結果。但這種方法的最大問題是計算的時間成本。這些都是一次產生一行的生成器方法，類似中使用的用法。在這種情況下，所花費的時間大約是方法的一半。根據每小時所屬的應用一組標簽。 作者：xiaoyu 微信公眾號：Python數據科學 知乎：python數據分析師 showImg(https://segmentfault.com/img/bVboe...

    keelii 評論0 收藏0

發表評論

0條評論

最新活動
閱讀需要支付1元查看
<