導數(shù)界頂端的pg_bulkload

IT那活兒發(fā)布于2023-01-11 13:20 / 1533人閱讀

前言

PostgroSQL提供了許多插件，不同的插件實現(xiàn)了不同的功能，而這些功能能夠輔助我們的日常運維，例如表膨脹插件pg_squeeze，實現(xiàn)了鎖表時間短而且能回收空間的功能。 pg_bulkload插件是一種用于PostgreSQL的高速數(shù)據(jù)加載工具，可以將大量數(shù)據(jù)快速加載到數(shù)據(jù)庫。

pg_bulkload原理

pg_bulkload主要包括兩個模塊：reader和writer。reader負責讀取文件、解析tuple，writer負責把解析出的tuple寫入輸出源中。早期版本中，功能很簡單，只是用來加載數(shù)據(jù)，在3.1版本增加了數(shù)據(jù)過濾的功能。其架構(gòu)如下圖：

pg_blukload使用

下載pg_blukload包，下載地址：

https://github.com/ossc-db/pg_bulkload/tree/VERSION3_1_16

安裝pg_blukload插件

建測試表tb_a1和測試文件tb_a1_output.txt

創(chuàng)建測試表tb_a1

測試文件tb_a1_output.txt

不使用控制文件使用參數(shù)

數(shù)據(jù)導入之前應該先清理表數(shù)據(jù)，再使用如下命令：

pg_bulkload -i /app/telepg/tb_a1_output.txt -O lh.tb_a1 -l/app/telepg/tbl_a1_output.log -P /app/telepg/tbl_a1_bad.txt -o "DELIMITER=|" -d lh -U root -p 18802

先確定環(huán)境，再將tb_a1_output.txt文件里的數(shù)據(jù)快速導入tb_a1中。

查看日志，進行校驗

進入數(shù)據(jù)庫再次核查導入數(shù)據(jù)是否一致

使用控制文件

創(chuàng)建測試表tb_a2

新建控制文件tb_a2.ctl

確認環(huán)境變量

使用控制文件進行加載操作

進入數(shù)據(jù)庫再次核查導入數(shù)據(jù)是否一致

總結(jié)

pg_bulkload相較于copy而言pg_bulkload最大的優(yōu)勢就是速度，其優(yōu)勢可以讓我們跳過sharedbuffer,walbuffer，直接寫文件。pg_bulkload的direct模式就是利用這種思路來實現(xiàn)的，它還包含了數(shù)據(jù)恢復功能，即導入失敗的話，需要恢復。不足的是，表字段的順序要跟導入的文件報錯一致。

End

云服務器 GPU云服務器導數(shù) 導數(shù)c語言多項式導數(shù) 端的

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/130049.html

被Geoffrey Hinton拋棄，反向傳播為何飽受質(zhì)疑？

摘要：在最近的一次人工智能會議上，表示自己對于反向傳播非常懷疑，并提出應該拋棄它并重新開始。在人工智能多年的發(fā)展過程中，反向傳播已經(jīng)成為了深度學習不可或缺的一部分。最后，我們會將這些規(guī)則組合成可用于任意神經(jīng)網(wǎng)絡的反向傳播算法。現(xiàn)在的深度學習發(fā)展似乎已經(jīng)陷入了大型化、深度化的怪圈，我們設計的模型容易被對抗樣本欺騙，同時又需要大量的訓練數(shù)據(jù)——在無監(jiān)督學習上我們?nèi)〉玫耐黄七€很少。作為反向傳播這一深度...

yvonne 2019-04-25 18:19 評論0 收藏0
WebGL 著色器偏導數(shù)dFdx和dFdy介紹

摘要：偏導數(shù)函數(shù)可以用于片元著色器中的任何變量。偏導數(shù)和用于計算紋理的一些列的子圖，每個子圖都比前一個的尺寸縮小了倍。在紋理取樣過程中使用偏導數(shù)來選擇最佳的級數(shù)。本文適合對webgl、計算機圖形學、前端可視化感興趣的讀者。偏導數(shù)函數(shù)（HLSL中的ddx和ddy，GLSL中的dFdx和dFdy）是片元著色器中的一個用于計算任何變量基于屏幕空間坐標的變化率的指令（函數(shù)）。在WebGL中，使用...

Hanks10100 2019-08-23 18:30 評論0 收藏0
從ReLU到Sinc，26種神經(jīng)網(wǎng)絡激活函數(shù)可視化

摘要：修正線性單元，是神經(jīng)網(wǎng)絡中最常用的激活函數(shù)。顧名思義，值激活函數(shù)返回輸入的值。如同余弦函數(shù)，或簡單正弦函數(shù)激活函數(shù)為神經(jīng)網(wǎng)絡引入了周期性。此外，激活函數(shù)為零點對稱的奇函數(shù)。在神經(jīng)網(wǎng)絡中，激活函數(shù)決定來自給定輸入集的節(jié)點的輸出，其中非線性激活函數(shù)允許網(wǎng)絡復制復雜的非線性行為。正如絕大多數(shù)神經(jīng)網(wǎng)絡借助某種形式的梯度下降進行優(yōu)化，激活函數(shù)需要是可微分（或者至少是幾乎完全可微分的）。此外，復雜的激...

Jeff 2019-04-25 18:19 評論0 收藏0