Hbase基本介紹和讀寫流程

IT那活兒發布于2023-01-11 13:20 / 3253人閱讀

Hbase基本介紹和讀寫流程

一. Hbase介紹

Hbase是建立的hdfs之上，提供高可靠性、高性能、列存儲、可伸縮、實時讀寫的數據庫系統。與hadoop一樣，Hbase目標主要依靠橫向擴展，通過不斷增加廉價的商用服務器，來增加計算和存儲能力。

HBase 中的表一般有這樣的特點：

二. Hbase的角色

HBase角色：Hmaster、Regionserver

Hbase每時每刻只有一個HMaster主服務器程序在運行，HMaster將region分配給RegionServer，協調RegionServer的負載并維護集群的狀態，Hmaster不會對外提供數據服務，而是由RegionServer負責所有regions的讀寫請求及操作。

負責存儲Hbase的實際數據維護HMaster分配給它的Hregion處理對這些HRegion的IO請求，也就是說客戶端直接和HRegionServer打交道。

三. Hbase的表結構

HBase Table的組成：
Table=RowKey（行鍵）+Family（列族）+Column（列）+Timestamp（版本或時間戳）+Value（值）
Hbase的表按key來進行regions的分區
某個表的多個regions會分布在不同的regionserver上，以增加查詢速度
為增加寫入的性能，hbase表一般會進行預分區。

HBase Table的組成：

Table=RowKey（行鍵）+Family（列族）+Column（列）+Timestamp（版本或時間戳）+Value（值）

Tips：Hbase表設計不建議使用太多列簇，一般業務建議3個以內為佳。

四. Hbase的讀寫流程

HBase讀流程：

Client客戶端先訪問zookeeper,獲取 meta 表位于哪個Region Server。
訪問meta 表對應的region server服務器，根據請求的信息（namespace,table,rowkey)，查詢出目標表位于哪個Region Server中的哪個region。并將該表的region信息，以及meta表的位置信息緩存在客戶端的緩存中，以便下次訪問。
與目標表所在的region server 進行通訊。
分別在Block Cache（讀緩存），MemStore和 Store File查詢目標數據，并將查到的數據進行合并，此處所有數據是指同一條數據的不同版本（time stamp）或者不同的類型。（Put/Delete）
將從文件中查詢到的數據塊緩存到block cache。
將合并后的數據返回給客戶端。

HBase寫流程：

客戶端先訪問zookeeper，獲取Meta表位于那個region server。
訪問Meta表對應的region server服務器，根據請求的信息（namespace:table/rowkey）,在meta表中查詢出目標數據位于哪個region server的哪個region中。并將該表的region信息以及meta表的位置信息緩存到客戶端的meta cache，方便下次訪問。
與目標數據的region server進行通訊。
將數據寫入到WAL中。
將數據寫入到對應的memstore中。
向客戶端發送寫入成功的信息。
等達到memstore的刷寫時機后，將數據刷寫到HFILE中。

END

更多精彩干貨分享

點擊下方名片關注

IT那活兒

云服務器 GPU云服務器 hbase讀寫流程介紹騰訊云服務器注冊和配置流程 hbase讀寫性能 hbase 基本命令

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129847.html

Apache Trafodion技術架構介紹

摘要：它主要包括以下幾部分采用對文本進行文法分析，生成語法樹。對語法樹進一步進行分析，類似程序編譯器的語義分析，對語法合格的進一步進行檢查。優化器對語法樹應用各種規則，生成不同的執行計劃，形成一個搜索空間。 Trafodion簡介 Trafodion是一個構建在Hadoop/HBase基礎之上的關系型數據庫，它完全開源免費。Trafodion能夠完整地支持ANSI SQL，并且提供ACID事...

DevYK 2019-07-24 10:50 評論0 收藏0
Apache Trafodion技術架構介紹

摘要：它主要包括以下幾部分采用對文本進行文法分析，生成語法樹。對語法樹進一步進行分析，類似程序編譯器的語義分析，對語法合格的進一步進行檢查。優化器對語法樹應用各種規則，生成不同的執行計劃，形成一個搜索空間。 Trafodion簡介 Trafodion是一個構建在Hadoop/HBase基礎之上的關系型數據庫，它完全開源免費。Trafodion能夠完整地支持ANSI SQL，并且提供ACID事...

zhjx922 2019-06-25 18:50 評論0 收藏0