資訊專欄INFORMATION COLUMN
摘要：因為對分布式文件系統的訪問是基于目錄樹的結構，而對象存儲的索引只是簡單的結構，所以直接通過來模擬目錄樹的移動目錄，刪除目錄等操作時時延高。
US3VMDS（全稱：US3 Virtual Metadata Service）工具是為了解決Hadoop訪問UCloud對象存儲US3索引速度較慢的問題而引入的一個服務組件。因為Hadoop對分布式文件系統的訪問是基于目錄樹的結構，而對象存儲的索引只是簡單的KV結構，所以直接通過US3來模擬目錄樹的移動目錄，刪除目錄等操作時時延高。US3VMDS在內存中基于US3的存儲空間索引構建目錄樹結構，這樣客戶端可以通過單次交互來實現復雜的邏輯，并可以利用全內存的索引加速如Hadoop對分布式文件系統的getFileStatus，listStatus等操作。
US3VMDS實現了us3適配器用到的Head、PUT、ListObjects、Delete、Rename、Copy幾個API來處理索引請求，并在內存中構建了目錄樹，其位置類似HDFS實現的NameNode。US3 適配器IO請求則直接發給US3，只是Write IO成功后會通知US3VMDS(時延在150us左右，影響可以忽略不計)。整個架構如下圖所示。
大于等于v0.1.0版本的US3VMDS同樣支持高可用集群部署，集群中同時存在一個主節點和多個備節點。主節點會如上面描述的那樣正常提供緩存服務，備節點則僅會處理索引請求，但是不會將結果在內存中緩存。集群中的各個節點以及US3Hadoop適配器會監聽zookeeper中的US3VMDS節點信息變動，一旦發現主節點離線(主節點崩潰，網絡不通等問題)，則將一個備用節點晉升為主節點來提供緩存服務。架構如下圖:
該架構適合加速加速備份場景和中小規模計算分析場景。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/126830.html
摘要：概覽概覽產品簡介產品概述功能概覽產品優勢使用限制存儲類型地域和域名計量計費產品價格計費規則欠費處理計費案例快速上手開通服務開始使用控制臺指南存儲空間日志管理文件管理生命周期靜態網站托管域名管理鏡像回源跨區域復制跨域設置數據分析防盜鏈統計報 概覽產品簡介產品概述功能概覽產品優勢使用限制存儲類型地域和域名計量計費產品價格計費規則欠費處理計費案例快速上手開通 US3 服務開始使用 US3控制臺指南...
摘要：工具簡介工具簡介工具簡介本篇目錄概述概述版本和運行環境版本和運行環境主要功能主要功能使用限制使用限制概述概述概述是一個在系統環境中，將的存儲空間掛載到本地掛載點的工具，掛載成功后，您可以像操作本地文件一樣操作存儲空間中的文件。 工具簡介本篇目錄概述版本和運行環境主要功能使用限制概述US3FS是一個在Linux/Windows系統環境中，將US3的存儲空間（Bucket）掛載到本地掛載點的工具...
摘要：工具簡介工具簡介工具簡介本篇目錄概述概述介紹介紹概述概述概述為了解決寫入對象存儲的問題，基于官方版本開發，增加了中類型為對象存儲的支持，支持前綴掛載。介紹介紹介紹是一個用于的開源列式數據庫，開發。具體介紹可參見官網 工具簡介本篇目錄概述ClickHouse介紹概述為了解決clickhouse寫入UCloud對象存儲US3的問題，US3基于官方clickhouse版本v20.8.7.15-lt...
摘要：產品底層升級后，推出工具，便于用戶對存儲空間文件進行管理操作，操作方式更靈活。文件掛載工具文件系統掛載工具可幫助用戶在環境下以協議方式掛載文件目錄，對文件對象進行操作。一致性比對工具一致性比對工具用于比對用戶本地與存儲空間中的文件是否一致。 常用工具本篇目錄管理工具其他工具除使用 US3 管理控制臺之外，您還可以通過 US3 提供的各類常用工具對 US3 存儲空間及空間內的文件對象進行管理，...
摘要：用戶可通過數據遷移的方式，將第三方的存儲集群數據遷移至的存儲空間中，充分利用對象存儲按需收費，無須購買額外硬件資源的優勢，對數據進行歸檔，以實現成本最優。 數據遷移方案本篇目錄背景US3 鏡像回源功能US3 數據遷移工具背景對象存儲具有容量大、成本低、高擴展性以及高可靠性等優勢，面對增量數據導致的存儲容量瓶頸、成本增加等問題。用戶可通過數據遷移的方式，將第三方的存儲集群數據遷移至 US3 的...
摘要：遷移工具歷史版本遷移工具歷史版本遷移工具歷史版本本篇目錄介紹介紹安裝步驟安裝步驟介紹介紹介紹是對象存儲提供的一款將數據遷移至存儲空間的工具。 遷移工具（歷史版本）本篇目錄介紹安裝步驟介紹ufile-import 是對象存儲 US3 提供的一款將數據遷移至 US3 存儲空間（Bucket） 的工具。您可以將 ufile-import 部署在本地服務或者云主機上，輕松將您其他云存儲的數據遷移到 ...
閱讀 291·2024-11-07 18:25
閱讀 130367·2024-02-01 10:43
閱讀 868·2024-01-31 14:58
閱讀 828·2024-01-31 14:54
閱讀 82768·2024-01-29 17:11
閱讀 3052·2024-01-25 14:55
閱讀 1985·2023-06-02 13:36
閱讀 3033·2023-05-23 10:26
