greenplum的資源隊列

IT那活兒發布于2023-01-11 13:20 / 3395人閱讀

greenplum的資源隊列

點擊上方“IT那活兒”，關注后了解更多內容，不管什么活兒，干就完了！！！

資源隊列的基本原理

資源隊列存在的目的是為了防止多個會話同時執行，爭奪系統資源和避免造成資源耗盡，如Memory、CPU、磁盤I/O這三種資源。

在gp中可以將多個role放在一個資源隊列內，然后對這個資源隊列進行限制，可以指定共享cpu資源的優先級。

注：關于優先級在資源隊列中的效果似乎并不明顯，在后續版本中增加的資源組才會有明顯的效果。

資源隊列的工作原理

資源隊列在gp中是默認打開的，每一個新建的的role都會且是必須分配一個資源隊列。

如果在創建role時沒有指定，將會默認分配到pg_default這個數據庫自帶的資源隊列中。

目前資源隊列可以限制的參數：

a. 活動語句數量。

就是指一個資源隊列最多可以同時執行多少個會話。

b. 活動語句內存使用量。

一個資源隊列下所有的role提交的語句所使用的內存資源總和不能超過這個值。

c. 活動語句優先級。

該值規定了資源隊列之間使用cpu的優先級。但是這個優先級是相對的。

d. 活動語句的成本。

該值是由查詢規劃器做的成本評估。

在數據庫運行時，用戶提交一個查詢，這個查詢就會被所在的資源隊列的限制進行評估。

如果評估認為該查詢所消耗的資源不會超過限制，該查詢就會立即執行。

如果評估認為該查詢超過了資源限制，該查詢需要等到有足夠的資源時才能得到執行。

查詢的方式是先進先出的原則進行排隊。

在查詢優先級啟用的情況下，系統會定期的重新分配計算資源。

另外SUPERUSER是不受資源隊列限制的，會立即執行，無視所在資源隊列的限制。

與資源隊列的相關語法

3.1 創建資源隊列語法

CREATE RESOURCE QUEUE name WITH (queue_attribute=value [, ... ])

參數：

name
資源隊列的名字。
ACTIVE_STATEMENTS integer
該參數限制了分配到隊列角色所能夠執行的查詢的數量。
MEMORY_LIMIT memory_units
對于所有從該資源隊列中提交的語句設置總內存配額。
MAX_COST float
對查詢代價設置了一個最大限制。
MIN_COST float
該是最小查詢的最小查詢成本限制。
PRIORITY={MIN|LOW|MEDIUM|HIGH|MAX}
設置和資源隊列相關查詢的優先級。

3.2 修改變更資源隊列

使用ALTER RESOURCE QUEUE命令來改變資源隊列的限制。

ALTER RESOURCE QUEUE zy WITH (ACTIVE_STATEMENTS=3);
ALTER RESOURCE QUEUE zy WITH (MAX_COST=100000.0);

將活動語句數量或者內存限制重置為無限制，可以使用-1值。

ALTER RESOURCE QUEUE zy WITH (MAX_COST=-1.0, MEMORY_LIMIT=‘2GB’);

改變查詢優先級。

ALTER RESOURCE QUEUE zy WITH (PRIORITY=MIN);

3.3 刪除資源隊列

要刪除一個資源隊列，該隊列不能與任何ROLE相關,使用DROP RESOURCE QUEUE命令刪除資源隊列。

DROP RESOURCE QUEUE zy;

3.4 添加用戶到資源隊列中

賦予role資源管理隊列。

alter role hank resource queue zy;

恢復到使用默認的資源隊列。

ALTER ROLE hank RESOURCE QUEUE none;

3.5 資源隊列的相關查詢語句

通過以下視圖可以查看到參數內容：

select * from pg_resqueue_attributes;

查看資源隊列相關使用情況：

SELECT * FROM gp_toolkit.gp_resqueue_status;

查看資源隊列統計信息：

SELECT * FROM pg_stat_resqueues;

查詢角色分配的資源隊列：

SELECT * from gp_toolkit.gp_resq_role;

查詢資源隊列中的等待查詢：

SELECT * FROM gp_toolkit.gp_locks_on_resqueue WHERE lorwaiting=true;

查詢活動語句的優先級：

select * from gp_toolkit.gp_resq_priority_statement;

本文作者：徐瑞

本文來源：IT那活兒（上海新炬王翦團隊）

云服務器 GPU云服務器消息隊列RocketMQ資源包優惠消息隊列RocketMQ資源包購買攻略消息隊列RocketMQ資源包優惠活動消息隊列RocketMQ資源包有沒有優惠

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129655.html

探索Greenplum的實踐，了解新一代大數據處理利器

摘要：上有主節點和從節點兩部分，兩者主要的功能是生成查詢計劃并派發，以及協調并行計算，同時在上保存著，這個全局目錄存著一組數據庫系統本身所具有的元數據的系統表。前言：近年來，互聯網的快速發展積累了海量大數據，而在這些大數據的處理上，不同技術棧所具備的性能也有所不同，如何快速有效地處理這些龐大的數據倉，成為很多運營者為之苦惱的問題！隨著Greenplum的異軍突起，以往大數據倉庫所面臨的很多...

supernavy 2019-08-23 12:03 評論0 收藏0
數據倉庫架構的變遷

摘要：前面我們簡單闡述了分布式數據庫的架構，并通過一條簡單的查詢語句解釋了分布式的執行計劃。引言第八屆中國架構師大會（SACC2016）10月27號到29號在北京萬達索菲特大飯店成功舉辦。大會以架構創新之路為主題，云集了國內外頂尖專家，共同探討云計算和大數據等技術背景下，如何通過架構創新及各種IT新技術來帶動企業轉型增效。作為一家專注于云端數據倉庫的初創公司，酷克數據受邀在SACC201...

Raaabbit 2019-07-25 12:34 評論0 收藏0
構建可擴展的PostgreSQL解決方案

摘要：這可以通過負載平衡來實現數據分片當問題不是并發查詢的數量，而是數據庫的大小和單個查詢的速度時，可以實現不同的方法。 showImg(https://segmentfault.com/img/remote/1460000018875091); 來源 | 愿碼(ChainDesk.CN)內容編輯愿碼Slogan | 連接每個程序員的故事網站 | http://chaindesk.cn...

jonh_felix 2019-07-25 12:38 評論0 收藏0