国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

工具簡介 對象存儲 US3

ernest.wang / 1964人閱讀

摘要：工具簡介工具簡介工具簡介本篇目錄概述概述主要功能主要功能文件結構文件結構與原遷移工具對比與原遷移工具對比版本和運行環境版本和運行環境概述概述概述是一款將不同源的數據同步到的遷移工具。支持從存儲或者本地目錄將數據遷移到中。

工具簡介

本篇目錄

概述主要功能文件結構與原遷移工具對比版本和運行環境

概述

US3SYNC 是一款將不同源的數據同步到 US3 的遷移工具。通過將 US3SYNC 部署在本地或者云主機中，可以便捷地從本地或者其他云環境中將數據遷移到 US3 存儲空間。US3SYNC工具可以創建兩種模式的任務：

普通模式： 普通同步任務可以將源端某個指定前綴或文件夾的文件批量的同步到US3上。

fetch模式： fetch模式的同步任務是通過POST請求（描述需要同步的文件URL和目的位置）將文件同步到指定的位置上?？梢灾该魑募匠晒褪『蟮幕卣{接口，US3SYNC會在同步任務完成后，發送相應的通知。

普通任務工作原理

圖中master節點與worker節點功能：

master節點：

單點部署，負責遷移任務的管理。其主要邏輯是從源端拉取文件列表，然后將需要遷移的文件派發給worker進程遷移。

worker節點：

支持節點擴展，負責遷移文件。其主要邏輯是從源端下載文件，然后將文件上傳到目的端。

master節點與worker節點可以部署在同一臺機器，也可以部署在多臺機器上，用戶可以根據需要自行擴展worker節點，下面分別介紹：

部署在同一臺機器：

master節點和worker節點通過啟動時配置的內部通信監聽地址進行通信。用戶需要確保配置給worker節點的路徑是多帶帶的路徑，不可與master路徑以及其他worker路徑重復。

部署在不同機器：

master節點和worker節點通過啟動時配置的內部通信監聽地址進行通信，確保該地址在worker機器上可以訪問。用戶需要確保配置給worker節點的路徑是多帶帶的路徑，不可與master路徑以及其他worker路徑重復。

Fetch任務工作原理

Fetch類型的任務跟普通任務工作原理大致類似，不同的是同步任務的源端需要發送POST請求來指定，而不是根據配置的源端的位置自動拉取。

POST請求語法
POST /fetch/ HTTP 1.1
Authorization: Auth
Content-Type:application/json
請求頭部

Authorization為必選項，content-type, date等都是可選項

例如： Authorization: UCloud xxxx-xxxx-xxxx-xxxx-xxxx:xxxxxxxxxxxxx 計算方法偽碼如下：

method := "POST"
md5 := xxxxxx
contentType := xxxxxx
date := xxxxx
privateKey = xxxxx-xxxx-xxxxx-xxxx
publicKey = xxxx-xxxx-xxxx-xxxx
strToSign = method + "
" + md5 + "
" + contentType + "
" + date + "
"
signature = HmacSHA1(strToSign, privateKey)
signature = Base64(signature)
Authorization: "UCloud " + publicKey + ":" + signature
請求內容 名稱描述類型必選Url源站資源地址,需要urlencodeString是Key桶內文件路徑，不需要urlencodeString是Bucket桶名String是JobIdFetch任務IdString是SuccessCallbackUrl回源拉取成功的回調地址String否FailureCallbackUrl回源拉取失敗的回調地址String否

此處的JobId可以在界面中獲取

返回內容 名稱描述類型RetCode請求狀態碼IntErrMsg請求信息StringTaskId任務的唯一idString 
{
    "RetCode":,
    "ErrMsg":,
    "TaskId":
    }
示例請求
POST /fetch/ HTTP/1.1
Authorization:Authorization: UCloud this-is-my-public-key:AAAArandomsignature=
Content-Type:application/json
Content-Length: 159
{
    "Url": "http://xxx.xxx.xxx/xxx/movie.mp4",
    "Key":"movie.mp4",
    "JobId": "xxxxxxxxxxxxxxxxxxxx"
    "SuccessCallbackUrl":"http://xxx.xxx.xxx/xxx",
    "FailureCallbackUrl":"http://xxx.xxx.xxx/xxx"
}
返回
HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
Content-Length: 122
Connection: keep-alive
{
    "RetCode":0,
    "ErrMsg":"success",
    "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f"
}
回調內容

您可以在請求中指定任務完成后的回調地址，US3SYNC會依照任務執行結果給相應的地址放松POST請求，請求內容示例如下：

Failure callback
{
    "Code":1,
    "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f",
    "Message":"We encountered an internal error.",
    "Resource":"http://xxx.xxx.xxx/xxx/movie.mp4",
}
Success callback
{    
    "Code": 0,
    "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f",
    "ETag":"xxxxxxxx",
    "Key":"xxxxxxxxxxxxxxx.mp4",
    "SHA1":"0bc51013e87869137a432200f57daf6affdd3d0c",
    "Size":638304718
}

主要功能

支持從 s3，oss，qiniu，youpai，US3 云存儲遷移數據到 US3 中。支持從 NAS 存儲或者本地目錄將數據遷移到 US3 中。支持指定 URL 資源列表將數據遷移到 US3 中。支持 web 管理，通過 web 管理遷移任務，遷移節點。支持源端管理支持配置任務定期執行支持失敗文件列表導出

注：暫不支持源端為歸檔類型的文件遷移到 US3。

文件結構

US3SYNC
├── bin
│ |── master            # master 可執行程序
│ └── worker            # worker 可執行程序
├── conf
│ └── config.toml       # 配置文件
├── cert                # https證書
├── log                 # master日志文件存放路徑
├── pika                # 依賴pika
└── console.sh          # 啟動腳本

與原遷移工具對比

原遷移工具使用請參照：原遷移工具

US3SYNCufile-import提供界面管理操作只支持命令行操作配置文件整合為單個多個配置文件數據不落盤，提高遷移效率數據落盤，需要根據需要提供磁盤資源使用pika緩存使用redis緩存按分片粒度并發，帶寬穩定按文件粒度并發，對大文件遷移不友好支持按照大小進行數據校驗不支持校驗

版本和運行環境

軟件版本

當前版本：1.4.0

運行環境Linux：CentOS 7.0 及以上 (可通過cat /etc/redhat-release查看)Ubuntu 16.04 及以上 (可通過cat /etc/issue查看)

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/126749.html

相關文章

  • 概覽 對象存儲 US3

    摘要：概覽概覽產品簡介產品概述功能概覽產品優勢使用限制存儲類型地域和域名計量計費產品價格計費規則欠費處理計費案例快速上手開通服務開始使用控制臺指南存儲空間日志管理文件管理生命周期靜態網站托管域名管理鏡像回源跨區域復制跨域設置數據分析防盜鏈統計報 概覽產品簡介產品概述功能概覽產品優勢使用限制存儲類型地域和域名計量計費產品價格計費規則欠費處理計費案例快速上手開通 US3 服務開始使用 US3控制臺指南...

    ernest.wang 評論0 收藏2651

  • 工具簡介 對象存儲 US3

    摘要：工具簡介工具簡介工具簡介本篇目錄概述概述版本和運行環境版本和運行環境主要功能主要功能使用限制使用限制概述概述概述是一個在系統環境中，將的存儲空間掛載到本地掛載點的工具，掛載成功后，您可以像操作本地文件一樣操作存儲空間中的文件。 工具簡介本篇目錄概述版本和運行環境主要功能使用限制概述US3FS是一個在Linux/Windows系統環境中，將US3的存儲空間（Bucket）掛載到本地掛載點的工具...

    ernest.wang 評論0 收藏892

  • 工具簡介 對象存儲 US3

    摘要：工具簡介工具簡介工具簡介本篇目錄概述概述介紹介紹概述概述概述為了解決寫入對象存儲的問題，基于官方版本開發，增加了中類型為對象存儲的支持，支持前綴掛載。介紹介紹介紹是一個用于的開源列式數據庫，開發。具體介紹可參見官網 工具簡介本篇目錄概述ClickHouse介紹概述為了解決clickhouse寫入UCloud對象存儲US3的問題，US3基于官方clickhouse版本v20.8.7.15-lt...

    ernest.wang 評論0 收藏193

  • 常用工具 對象存儲 US3

    摘要：產品底層升級后，推出工具，便于用戶對存儲空間文件進行管理操作，操作方式更靈活。文件掛載工具文件系統掛載工具可幫助用戶在環境下以協議方式掛載文件目錄，對文件對象進行操作。一致性比對工具一致性比對工具用于比對用戶本地與存儲空間中的文件是否一致。 常用工具本篇目錄管理工具其他工具除使用 US3 管理控制臺之外，您還可以通過 US3 提供的各類常用工具對 US3 存儲空間及空間內的文件對象進行管理，...

    ernest.wang 評論0 收藏196

  • 數據遷移方案 對象存儲 US3

    摘要：用戶可通過數據遷移的方式，將第三方的存儲集群數據遷移至的存儲空間中，充分利用對象存儲按需收費，無須購買額外硬件資源的優勢，對數據進行歸檔，以實現成本最優。 數據遷移方案本篇目錄背景US3 鏡像回源功能US3 數據遷移工具背景對象存儲具有容量大、成本低、高擴展性以及高可靠性等優勢，面對增量數據導致的存儲容量瓶頸、成本增加等問題。用戶可通過數據遷移的方式，將第三方的存儲集群數據遷移至 US3 的...

    ernest.wang 評論0 收藏3105

  • 遷移工具（歷史版本） 對象存儲 US3

    摘要：遷移工具歷史版本遷移工具歷史版本遷移工具歷史版本本篇目錄介紹介紹安裝步驟安裝步驟介紹介紹介紹是對象存儲提供的一款將數據遷移至存儲空間的工具。 遷移工具（歷史版本）本篇目錄介紹安裝步驟介紹ufile-import 是對象存儲 US3 提供的一款將數據遷移至 US3 存儲空間（Bucket） 的工具。您可以將 ufile-import 部署在本地服務或者云主機上，輕松將您其他云存儲的數據遷移到 ...

    ernest.wang 評論0 收藏2718

發表評論

0條評論

ernest.wang

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<