AWS S3 協議應用場景對象存儲 US3

s3fs s3fs-test /data/vs3fs -o url=http://internal.s3-cn-bj.ufileos.com -o passwd_file=~/.passwd-s3fs -o dbglevel=info -o curldbg,use_path_request_style,allow_other -o retries=1 -o multipart_size="8" -o multireq_max="8" -o parallel_count="32"

掛載效果

執行 df -h 指令，可以看到 s3fs 程序的運行。效果如下:

此時，可以看到 /data/vs3fs 目錄下的文件和指定 bucket 的文件，保持一致。也可以通過 tree 執行，查看文件結構。安裝指令：yum install -y tree 效果如下：

文件上傳和下載

掛載 US3 存儲空間和后，可以像使用本地文件夾一樣使用 US3 存儲空間。

拷貝文件到 ${LocalMountPath} ，即是上傳文件。將文件從 ${LocalMountPath} 拷貝到其他路徑，即下載文件。

注意：

路徑不符合 Linux 文件路徑規范的路徑，可以在 US3 管理控制臺看到，但不會在 Fuse 掛載的 ${LocalMountPath} 下顯示。Fuse 使用枚舉文件清單會比較緩慢，建議直接使用指定到具體文件的命令，如 vim、cp、rm 指定具體文件。刪除文件

將文件從 ${LocalMountPath} 刪除掉，則 US3 存儲空間中，該文件也被刪除掉。

卸載US3存儲空間

sudo umount ${LocalMountPath}

性能數據

寫入吞吐量40MB/s左右讀取吞吐量能達到166 MB/s（跟并發量相關）

goofys

功能說明

goofys 工具同 s3fs, 也支持將 Bucket 掛載到本地，像使用本地文件系統一樣直接操作對象存儲中的對象。性能方面比 s3fs 更優.

安裝與使用

適用的操作系統：Linux，MacOS

使用步驟

下載可執行文件：

Mac X86-64 Linux X86-64

使用如下命令解壓到指定目錄：

tar -xzvf goofys-0.21.1.tar.gz

默認在 $HOME/.aws/credentials 文件里面配置 bucket 的公私鑰，格式如下：

[default]
aws_access_key_id = TOKEN_*****9206d
aws_secret_access_key = 93614*******b1dc40

執行掛載命令 ./goofys --endpoint your_ufile_endpoint your_bucket your_local_mount_dir, 例如：

./goofys  --endpoint http://internal.s3-cn-bj.ufileos.com/suning2 ./mount_test:

掛載效果如圖：

測試掛載是否成功, 可以拷貝一個本地文件到 mount_test 目錄, 看是否上傳到 US3。

其它操作（刪除,上傳,獲取,卸載）

同 s3fs, 可參考上面的 s3fs 操作

性能數據

4核8G 的 UHost 虛擬機, 上傳 500MB 以上的文件, 平均速度可達140MB/s

基于 US3 的 FTP 服務

功能說明

對象存儲支持通過 FTP 協議直接操作 Bucket 中的對象和目錄，包括上傳文件、下載文件、刪除文件（不支持進入文件夾)。

安裝和使用

適用的操作系統：Linux

安裝步驟搭建環境

使用 s3fs 工具將 Bucket 掛載到本地。具體安裝方式步驟參考基于 S3FS、US3 搭建網絡文件系統的內容。

安裝依賴項

先檢查下本地是否有 FTP 服務，執行命令 rpm -qa | grep vsftpd，如果顯示未安裝，則執行以下命令，安裝 FTP。

運行以下命令安裝 vsftpd。

yum install -y vsftpd

開啟本地 fpd 服務

執行以下命令，開啟 ftp 服務。

service vsftpd start

S3FS 使用方法添加賬戶

運行以下命令創建 ftptest 用戶，并且設置指定目錄。

useradd ${username} -d {SpecifiedDirectory}

(刪除用戶命令：sudo userdel -r newuser)

運行以下命令修改 ftptest 用戶密碼。

passwd ${username}

客戶端使用

此時，您可以在外部任何一臺機器上連接該服務器，輸入您的用戶名和密碼，來管理 bucket 的文件

ftp ${ftp_server_ip}

s3cmd

功能說明

s3cmd是一個免費的命令行工具,用于使用S3協議上傳、檢索和管理數據，它最適合熟悉命令行程序的用戶，廣泛用于批處理腳本和自動備份。

安裝和使用

適用的操作系統：Linux、MacOS、Windows

安裝步驟

1.下載安裝包
https://s3tools.org/download ,這里以目前最新版本2.1.0為例 
2.解壓安裝包
tar xzvf s3cmd-2.1.0.tar.gz
3.移動路徑
mv s3cmd-2.1.0 /usr/local/s3cmd
4.創建軟連接
ln -s /usr/local/s3cmd/s3cmd /usr/bin/s3cmd (權限不足可以使用sudo)
5.執行配置命令,填寫必要信息(直接跳過也可以，可以放在下一步手動填寫)
s3cmd --configure
6.填寫配置
vim ~/.s3cfg
打開當前配置，填寫以下參數
access_key = "TOKEN公鑰/API公鑰"      
secret_key = "TOKEN私鑰/API私鑰"     
host_base = "s3協議域名,例如： s3-cn-bj.ufileos.com"
host_bucket = "請求風格，例如: %(bucket)s.s3-cn-bj.ufileos.com"
multipart_chunk_size_mb = 8 "us3 支持的s3協議分片大小為8M,所以這里只能填8"

access_key: 參考Token公鑰/API公鑰

secret_key: 參考 Token私鑰/API私鑰

host_base：參考 s3協議域名

示例配置項

[default]
access_key = "TOKEN_xxxxxxxxx"
access_token = 
add_encoding_exts = 
add_headers = 
bucket_location = US 
check_ssl_certificate = True
check_ssl_hostname = True
connection_pooling = True
content_disposition = 
content_type = 
default_mime_type = binary/octet-stream
delay_updates = False
delete_after = False
delete_after_fetch = False
delete_removed = False
dry_run = False
enable_multipart = True
encrypt = False
expiry_date = 
expiry_days = 
expiry_prefix = 
follow_symlinks = False
force = False
get_continue = False
gpg_passphrase = 
guess_mime_type = True
host_base = s3-cn-bj.ufileos.com
host_bucket = %(bucket)s.s3-cn-bj.ufileos.com
human_readable_sizes = False
invalidate_default_index_on_cf = False
invalidate_default_index_root_on_cf = True
invalidate_on_cf = False
kms_key = 
limit = -1
limitrate = 0
list_md5 = False
log_target_prefix = 
long_listing = False
max_delete = -1
mime_type = 
multipart_chunk_size_mb = 8
multipart_max_chunks = 10000
preserve_attrs = True
progress_meter = True
proxy_host =  
proxy_port = 80 
public_url_use_https = False
put_continue = False
recursive = False
recv_chunk = 65536
reduced_redundancy = False
requester_pays = False
restore_days = 1
restore_priority = Standard
secret_key = "xxxxxxxxxxxxxxxxxxx" 
send_chunk = 65536
server_side_encryption = False
signature_v2 = False
signurl_use_https = False
simpledb_host = sdb.amazonaws.com
skip_existing = False
socket_timeout = 300
stats = False
stop_on_error = False
storage_class = 
throttle_max = 100
upload_id = 
urlencoding_mode = normal
use_http_expect = False
use_https = False
use_mime_magic = True
verbosity = WARNING
website_index = index.html

使用方法 1.上傳文件

s3cmd put test.txt s3://bucket1

2.刪除文件

s3cmd del s3://bucket1/test.txt

3.下載文件

s3cmd get s3://bucket1/test.txt

4.拷貝文件

s3cmd cp s3://bucket1/test.txt s3://bucket2/test.txt

其他常用操作

1.上傳文件夾
s3cmd put -r ./dir s3://bucket1/dir1
2.下載文件夾
s3cmd get -r s3://bucket1/dir1 ./dir1
3.刪除文件夾
s3cmd del s3://bucket1/dir1
4.列取bucket列表
s3cmd ls
5.列取文件列表
s3cmd ls s3://bucket1
6.歸檔文件取回
s3cmd restore s3://bucket1

rclone

功能說明

rclone是一個命令行程序，用于管理云存儲上的文件,支持s3協議

安裝和使用安裝步驟

curl https://rclone.org/install.sh | sudo bash
//參考 https://rclone.org/install/

配置

rclone config

配置參考

[s3]           //這里可以填寫s3,ucloud等自定義名，作為命令前綴
type = s3
provider = Other
env_auth = false
access_key_id = xxxxxxxx                 
secret_access_key = xxxxxxxxxxx          
endpoint = http://s3-cn-bj.ufileos.com   //參考
location_constraint = cn-bj
acl = private
bucket_acl = private // public/private
chunk_size = 8M                          //目前只支持8M分片

access_key_id: 參考Token公鑰/API公鑰

secret_access_key: 參考 Token私鑰/API私鑰

endpoint：參考 s3協議域名

使用方法

說明: 以下命令前綴（配置內的中括號內容）以remote為例，使用過程中需要自行修改

1.查看所有bucket

rclone lsd remote:

2.列取文件列表

rclone ls remote:bucket

3.上傳文件

rclone copy ./test.txt remote:bucket

4.刪除文件

rclone delete remote:bucket/test.txt

云服務器 GPU云服務器對象存儲s3協議對象存儲應用場景 ucloud對象存儲產品us3 對象存儲協議

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/127044.html

概覽對象存儲 US3

摘要：概覽概覽產品簡介產品概述功能概覽產品優勢使用限制存儲類型地域和域名計量計費產品價格計費規則欠費處理計費案例快速上手開通服務開始使用控制臺指南存儲空間日志管理文件管理生命周期靜態網站托管域名管理鏡像回源跨區域復制跨域設置數據分析防盜鏈統計報概覽產品簡介產品概述功能概覽產品優勢使用限制存儲類型地域和域名計量計費產品價格計費規則欠費處理計費案例快速上手開通 US3 服務開始使用 US3控制臺指南...

ernest.wang 2022-07-12 16:28 評論0 收藏2651
v1.7.0 對象存儲 US3

v1.7.0修復了前綴自動發現式列取時，校驗階段僅校驗頂層前綴的bug在不勾選前綴自動發現時，會同步源端的空目錄到目的端支持了七牛專有云的endpointv1.6.1修復了在專有云上無法創建endpoint的bug修復了使用前綴自動發現功能時可能會卡住的bug修復了url列表模式的endpoint可能無法創建的bugv1.6.0優化了數據的統計方式修復了在使用s3接口拉取列表時，返回結果中next...

ernest.wang 2022-07-12 17:36 評論0 收藏1888
海納百川·智慧不凡丨UCloud對象存儲UFile品牌升級US3

摘要：對象存儲產品正式升級為，采用新一代自研存儲引擎，為更多用戶提供安全可靠極致性能成本可控便捷易用的對象存儲服務。穩定可用性提升倍，帶寬提升倍，提升倍，歸檔存儲型對象存儲價格降低。UCloud對象存儲產品UFile正式升級為US3，采用新一代自研存儲引擎，為更多用戶提供安全可靠、極致性能、成本可控、便捷易用的對象存儲服務。US3穩定可用性提升5倍，帶寬提升2倍，IOPS提升10倍，歸檔存儲型對象...

Tecode 2022-06-28 18:59 評論0 收藏0
跨云遷移過程中的數據同步及一致性校驗實踐（一）

摘要：通過對一些客戶的跨云遷移過程進行總結，發現普遍存在的挑戰有三點數據完整性和一致性挑戰。簡而言之，跨云遷移過程中的數據一致性主要就集中在存量數據的遷移如何保證一致。前言隨著互聯網業務發展對容災以及對訪問加速、多供應商成本控制等需求的產生，互聯網公司的多云部署和跨云遷移逐漸成為剛需，而在此過程中，最困擾運維和研發人員的就是數據的遷移和同步。俗語說上屋搬下屋，搬灑一籮谷，在業務的遷移過程中一旦...

Tecode 2022-06-28 18:59 評論0 收藏0
數據遷移方案對象存儲 US3

摘要：用戶可通過數據遷移的方式，將第三方的存儲集群數據遷移至的存儲空間中，充分利用對象存儲按需收費，無須購買額外硬件資源的優勢，對數據進行歸檔，以實現成本最優。數據遷移方案本篇目錄背景US3 鏡像回源功能US3 數據遷移工具背景對象存儲具有容量大、成本低、高擴展性以及高可靠性等優勢，面對增量數據導致的存儲容量瓶頸、成本增加等問題。用戶可通過數據遷移的方式，將第三方的存儲集群數據遷移至 US3 的...

ernest.wang 2022-07-12 17:36 評論0 收藏3105
遷移工具（歷史版本）對象存儲 US3

摘要：遷移工具歷史版本遷移工具歷史版本遷移工具歷史版本本篇目錄介紹介紹安裝步驟安裝步驟介紹介紹介紹是對象存儲提供的一款將數據遷移至存儲空間的工具。遷移工具（歷史版本）本篇目錄介紹安裝步驟介紹ufile-import 是對象存儲 US3 提供的一款將數據遷移至 US3 存儲空間（Bucket）的工具。您可以將 ufile-import 部署在本地服務或者云主機上，輕松將您其他云存儲的數據遷移到 ...

ernest.wang 2022-07-12 17:37 評論0 收藏2718

發表評論

登陸后可評論

0條評論

ernest.wang

男|高級講師

我要關注我要私信

TA的文章

特朗普勝任，將對跨境電商賣家產生哪些影響？

閱讀 284·2024-11-07 18:25
幻獸帕魯常見問題匯總

閱讀 130363·2024-02-01 10:43
在Linux和Windows上部署帕魯的區別？

閱讀 868·2024-01-31 14:58
怎么重啟幻獸帕魯云服務器？

閱讀 828·2024-01-31 14:54
幻獸帕魯自建服務器存檔備份及回檔 - windows篇

閱讀 82766·2024-01-29 17:11
小白必讀教程，幻獸帕魯服務器手動部署教程 - Windows篇

閱讀 3047·2024-01-25 14:55
A800GPU租用-A800顯卡

閱讀 1985·2023-06-02 13:36
5G短信和普通短信的區別

閱讀 3032·2023-05-23 10:26

国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務器低至59元/年，更有多臺、長期優惠，快來選購！

AWS S3 協議應用場景對象存儲 US3

AWS S3 協議應用場景

本篇目錄

文件瀏覽器工具

網絡文件系統 S3FS

goofys

基于 US3 的 FTP 服務

s3cmd

rclone

相關文章

概覽對象存儲 US3

v1.7.0 對象存儲 US3

海納百川·智慧不凡丨UCloud對象存儲UFile品牌升級US3

跨云遷移過程中的數據同步及一致性校驗實踐（一）

數據遷移方案對象存儲 US3

遷移工具（歷史版本）對象存儲 US3

發表評論

0條評論

ernest.wang

男|高級講師

TA的文章

特朗普勝任，將對跨境電商賣家產生哪些影響？

幻獸帕魯常見問題匯總

在Linux和Windows上部署帕魯的區別？

怎么重啟幻獸帕魯云服務器？

幻獸帕魯自建服務器存檔備份及回檔 - windows篇

小白必讀教程，幻獸帕魯服務器手動部署教程 - Windows篇

A800GPU租用-A800顯卡

5G短信和普通短信的區別

最新活動

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務器低至59元/年，更有多臺、長期優惠，快來選購！

AWS S3 協議應用場景 對象存儲 US3

本篇目錄

相關文章

發表評論

0條評論

男|高級講師

TA的文章

最新活動

AWS S3 協議應用場景對象存儲 US3