国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

hbase讀寫原理

IT那活兒 / 1910人閱讀
hbase讀寫原理

點擊上方“IT那活兒”，關注后了解更多內容，不管IT什么活兒，干就完了！！！



HBase讀流程
1. Client先訪問zookeeper，從meta表讀取region的位置，然后讀取meta表中的數據。meta中又存儲了用戶表的region信息；
2. 根據namespace、表名和rowkey在meta表中找到對應的region信息；
3. 找到這個region對應的regionserver；
4. 查找對應的region；
5. 先從MemStore找數據，如果沒有，再到BlockCache里面讀；
6. BlockCache還沒有，再到StoreFile上讀(為了讀取的效率)；
7. 如果是從StoreFile里面讀取的數據，不是直接返回給客戶端，而是先寫入BlockCache，再返回給客戶端。



HBase寫流程
1. Client向HregionServer發送寫請求；
2. HregionServer將數據寫到HLog（write ahead log）。為了數據的持久化和恢復；
3. HregionServer將數據寫到內存（MemStore）；
4. 反饋Client寫成功。



數據flush過程
1. 當MemStore數據達到閾值（默認是128M，老版本是64M），將數據刷到硬盤，將內存中的數據刪除，同時刪除HLog中的歷史數據；
2. 并將數據存儲到HDFS中；



數據合并過程
1. 當數據塊達到4塊，Hmaster將數據塊加載到本地，進行合并；
2. 當合并的數據超過256M，進行拆分，將拆分后的Region分配給不同的HregionServer管理；
3. 當HregionServer宕機后，將HregionServer上的hlog拆分，然后分配給不同的HregionServer加載，修改.META.；
4. 注意：HLog會同步到HDFS。



Hlog災難恢復應用
1. 背景：大數據hbase集群中regionserver大面積重啟。       
2. 現象：regionserver重啟后，前臺業務開始積壓，hbase產生大量GC。
3. 處理過程：把gc高積壓高的regionserver服務再次重啟，重啟幾次后發現積壓沒有任何改善，后觀察WAL log不斷跟新，后分析應該是regionserver重啟導致hlog日志在進行恢復，所以導致產生大量gc進而積壓了前端的業務。后決定暫時不對regionserver進行任何操作，持續觀察WAL log日志是否在跟新恢復。
4. 結果：大概兩個小時左右hlog災難恢復完成后觀察GC發現幾乎沒有gc前端業務也正常處理積壓沒有持續增長。



本文作者：徐 苗

本文來源：IT那活兒（上海新炬王翦團隊）

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129543.html

相關文章

  • Apache Trafodion技術架構介紹

    摘要：它主要包括以下幾部分采用對文本進行文法分析，生成語法樹。對語法樹進一步進行分析，類似程序編譯器的語義分析，對語法合格的進一步進行檢查。優化器對語法樹應用各種規則，生成不同的執行計劃，形成一個搜索空間。 Trafodion簡介 Trafodion是一個構建在Hadoop/HBase基礎之上的關系型數據庫，它完全開源免費。Trafodion能夠完整地支持ANSI SQL，并且提供ACID事...

    DevYK 評論0 收藏0

  • Apache Trafodion技術架構介紹

    摘要：它主要包括以下幾部分采用對文本進行文法分析，生成語法樹。對語法樹進一步進行分析，類似程序編譯器的語義分析，對語法合格的進一步進行檢查。優化器對語法樹應用各種規則，生成不同的執行計劃，形成一個搜索空間。 Trafodion簡介 Trafodion是一個構建在Hadoop/HBase基礎之上的關系型數據庫，它完全開源免費。Trafodion能夠完整地支持ANSI SQL，并且提供ACID事...

    zhjx922 評論0 收藏0

  • HBase基礎

    摘要：回過頭來看關系數據庫，雖然每個表只有兩個維度，但可以通過表之間的關系來建立高維度屬性來描述事物。屬性識別屬性可以唯一的確定一條數據在關系數據庫中作為主鍵，在中作為。 HBase的讀寫流程設計 寫數據：先預寫日式WAL，和寫入內容MemStore。WAL用來在節點宕機后恢復寫入的數據。在MemStore寫滿后會寫入磁盤，生成一個新的HFile，一旦寫入不會再修改。一個列族有一個MemS...

    xfee 評論0 收藏0

發表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<