資訊專欄INFORMATION COLUMN
摘要：快速上手快速上手快速上手本篇目錄視頻教學視頻教學界面說明界面說明使用說明使用說明緩存說明緩存說明遷移類型說明遷移類型說明視頻教學界面說明登錄界面說明任務管理界面說明創建任務界面說明創建遷移源界面說明節點管理界面說明創建節點界面說
觀看以下視頻，快速上手部署與使用US3SYNC
服務啟動后，通過瀏覽器打開頁面https://
- 任務操作：
開始遷移：開始文件遷移
開始校驗：基于大小校驗源端與目錄端文件，會從源端與目的端全量拉取文件列表對比
管理-重試：遷移文件后有失敗記錄，通過該按鈕將失敗文件重新遷移
管理-導出：遷移文件后有失敗記錄，通過該按鈕將失敗文件列表導出到目的端bucket的.US3SYNC/details/[jobid]/error.log 位置
管理-刪除：刪除任務，會清理任務緩存記錄
管理-克隆：打開創建任務界面，并填寫當前任務信息
- 統計信息如下：
=================================
遷移總數: 此次遷移文件總數
等待遷移: 處于待遷移隊列的文件個數
正在遷移: 正在執行遷移的文件個數
遷移成功: 已經遷移成功的文件個數
遷移失敗: 已經遷移失敗的文件個數
=================================
添加遷移源，參考 創建遷移源界面說明，點擊創建Endpoint按鈕，在對話框中填寫對應信息，點擊確定。
創建任務創建任務，參考 創建任務界面說明，點擊創建任務按鈕，在對話框中填寫對應信息，點擊確定。如果您想要創建fetch任務，請您點擊界面上的Fetch任務選項。 另外JobId請您參考 獲取任務Id
說明：
遷移過程會將指定的源端前綴下的文件遷移到指定的目的端前綴下面，例如：
1. 源端前綴指定了：A/ 目的端前綴指定了 B/
此時會將源端 A/ 下的所有文件遷移到目的端 B/ 下
如果源端有一個文件A/a.txt 遷移后在目錄端會有 B/a.txt
2. 源端前綴指定了：A/ 目的端前綴指定了空路徑
此時會將源端 A/ 下的所有文件遷移到目的端根目錄下
如果源端有一個文件A/a.txt 遷移后在目錄端根目錄下會有 a.txt覆蓋條件選項說明，目前支持三種方式：
> 全覆蓋：源端存在的文件全部強制上傳到US3
> 條件覆蓋：根據指定字段判斷是否需要遷移文件
> > 條件覆蓋目前支持三個字段：文件類型，文件時間戳，文件大小
> > 文件類型和文件大小通過判斷 源端文件與目的端文件對應屬性是否一致
> > 文件時間戳通過判斷 源端文件比目的端文件更新則重新遷移該文件
> 不覆蓋：發現目的端已經存在同名文件，跳過該文件 定期任務配置說明：
> 如果需要定期執行遷移，配置每隔幾天，什么時間進行遷移 增量過濾條件說明，根據配置過濾待遷移文件，支持兩種規則：
1. 根據絕對時間過濾，用戶指定起始時間。
2. 根據最近時間過濾，用戶指定遷移最近幾個小時的文件。如果配置定期任務執行，則每次定期任務啟動，都會根據當時時間進行計算。參考 任務管理界面說明，點擊開啟遷移按鈕。
暫停遷移參考 任務管理界面說明，點擊暫停按鈕。
重試如果遷移后有失敗記錄，可以對遷移失敗的文件進行重試，參考 任務管理界面說明，點擊管理-重試按鈕。
導出失敗文件列表如果遷移后有失敗記錄，可以對遷移失敗的文件列表導出，參考 任務管理界面說明，點擊管理-導出按鈕。
US3SYNC 使用 pika 提供緩存服務。主要緩存以下信息：
任務詳細信息遷移統計信息遷移記錄AWS S3源需要額外提供待遷移空間的 region 字段，參考：https://docs.aws.amazon.com/zh_cn/general/latest/gr/s3.html 。
第三方實現S3協議參考對應廠商S3文檔說明。
locallocal 源需要提供待遷移目錄的路徑
httphttp 源需要提供待遷移文件列表的 url 地址。
每行代表一個待遷移資源，待遷移文件列表格式如下：
文件url地址文件url地址
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/127021.html
摘要：概覽概覽產品簡介產品概述功能概覽產品優勢使用限制存儲類型地域和域名計量計費產品價格計費規則欠費處理計費案例快速上手開通服務開始使用控制臺指南存儲空間日志管理文件管理生命周期靜態網站托管域名管理鏡像回源跨區域復制跨域設置數據分析防盜鏈統計報 概覽產品簡介產品概述功能概覽產品優勢使用限制存儲類型地域和域名計量計費產品價格計費規則欠費處理計費案例快速上手開通 US3 服務開始使用 US3控制臺指南...
摘要：更多歸檔存儲類型的使用說明請參考數據歸檔方案。控制臺快速上手注產品已作為歸檔存儲類型合并至對象存儲，目前不再向新用戶提供獨立的歸檔存儲服務。創建歸檔存儲空間登錄控制臺，選擇右側歸檔存儲后進入歸檔存儲列表頁，選擇創建歸檔存儲空間按鈕。使用場景注：UArchive 產品已作為歸檔存儲類型合并至 US3 對象存儲，目前不再向新用戶提供獨立的歸檔存儲服務。如需使用更低成本的對象存儲服務，請至 US3...
摘要：安裝適配器安裝適配器安裝適配器配置各個節點的參數項，參數項參考快速上手參數說明將拷貝到下接入方式具有侵入性，適用于小規模計算分析場景，大數據備份需求場景請參考快速上手場景示例。 下載與環境準備本篇目錄下載與安裝安裝適配器下載與安裝獲取適配器 US3大數據適配器通過jar包形式提供其功能，US3大數據適配器jar包格式為us3-bigdata-adaptor-${hadoop version}...
摘要：文件管理控制臺文件管理大于工具分片上傳工具使用之前請配置內外網不同地區域名不同，詳情參考文檔上傳工具可以配置相關客戶端密鑰填寫公私鑰注固定域名不加后綴目前僅中國北京二，中國香港，越南胡志明，韓國首爾，巴西圣US3文件管理1、控制臺文件管理（大于500M 工具分片上傳） 2、filemgr工具https://docs.ucloud.cn/ufile/tools/tools/tools_file...
摘要：本次大會上，優刻得基于自研的全新存儲底層架構推出新一代對象存儲產品。推出新一代自研存儲引擎，持續降低存儲成本優刻得在今年月推出了元月的歸檔存儲產品，打破了存儲領域降本的邊界。伴隨著5G、大數據的廣泛應用,帶來了數據量的爆炸式增長。根據IDC預測，2025年全球數據總量將達到驚人的175ZB。數據存儲在未來的數字化時代將面臨更多挑戰：每秒鐘存儲數據寫入性能、數據云端存儲可靠性、數據存儲成本增高...
摘要：用戶可通過數據遷移的方式，將第三方的存儲集群數據遷移至的存儲空間中，充分利用對象存儲按需收費，無須購買額外硬件資源的優勢，對數據進行歸檔，以實現成本最優。 數據遷移方案本篇目錄背景US3 鏡像回源功能US3 數據遷移工具背景對象存儲具有容量大、成本低、高擴展性以及高可靠性等優勢，面對增量數據導致的存儲容量瓶頸、成本增加等問題。用戶可通過數據遷移的方式，將第三方的存儲集群數據遷移至 US3 的...
閱讀 351·2024-11-07 18:25
閱讀 130598·2024-02-01 10:43
閱讀 914·2024-01-31 14:58
閱讀 879·2024-01-31 14:54
閱讀 82884·2024-01-29 17:11
閱讀 3176·2024-01-25 14:55
閱讀 2028·2023-06-02 13:36
閱讀 3108·2023-05-23 10:26
