摘要：目前，對象存儲是這些海量非結(jié)構(gòu)化數(shù)據(jù)最好的存儲載體。宋體做式的對象存儲宋體是年推出的對象存儲產(chǎn)品。宋體二業(yè)務(wù)低成本宋體對象級別的分層存儲宋體采用專門的存儲機型，存儲密度更高，單位存儲的成本最低可降到計算機型的。

隨著 5G+IoT 時代來臨，產(chǎn)生數(shù)據(jù)的主角除了人類還有海量的物理設(shè)備，相比 4G 移動互聯(lián)網(wǎng)的短視頻、直播等，會有更大量的數(shù)據(jù)產(chǎn)生。據(jù) IDC 發(fā)布的《數(shù)據(jù)時代 2025》的預(yù)測，全球每年產(chǎn)生的數(shù)據(jù)將從 2018 年的 33ZB 增長到 2025 年的 175ZB，每年新增約 20ZB，如果使用 8T 的磁盤，只保存一份副本，每年需要 25 億塊磁盤，數(shù)億臺主機。

這些數(shù)據(jù)大多以視頻、圖片、文本等非結(jié)構(gòu)化形式存在，并需要妥善保存以做后續(xù)利用。為此，數(shù)據(jù)的存儲載體需要具備隨時隨地上傳、安全、可擴展以及低成本的特性。目前，對象存儲是這些海量非結(jié)構(gòu)化數(shù)據(jù)最好的存儲載體。

UFile：做 Costco 式的對象存儲

UFile 是 UCloud 2015 年推出的對象存儲產(chǎn)品。過去一年間，UFile 從整體上做了一次較大升級，推出不少功能特性和優(yōu)化，更好地滿足用戶對海量非結(jié)構(gòu)化數(shù)據(jù)的需求。這一過程中，UFile 將其產(chǎn)品理念概括為 “成為 Costco 式的存儲”，為什么是 Costco 式的？

圖：UFile 控制臺界面

前段時間量販式倉儲會員店 Costco 在國內(nèi)火爆開業(yè)，在一個既不缺線下商超、同時線上電商更是遍地開花，市場競爭異常激烈的中國市場，Costco 靠什么去切入用戶？雷軍是這么評價 Costco 的：“Costco 這么多年所向披靡的最重要原因就是抓住了其存在的本質(zhì)，商品做到極好，價格做到極低，服務(wù)做到超預(yù)期。”

這個理念也同樣適用于對象存儲領(lǐng)域，UFile 把用戶最本質(zhì)的需求概括為 3 點：極高的可靠性和性能、極低的成本以及極優(yōu)的體驗。

對象存儲的三個典型案例

在介紹 UFile 之前，我們先來看看 AI、大數(shù)據(jù)和 IoT 場景下的 3 個案例：

1

某傳統(tǒng)金屬件加工企業(yè)原本有這樣一項業(yè)務(wù)：員工人力摘撿不合格產(chǎn)品。現(xiàn)在，該項業(yè)務(wù)轉(zhuǎn)變?yōu)榕恼杖∽C＋AI 智能檢測的方式，相較之前大大節(jié)省了企業(yè)的人力投入成本，并降低了人工檢測的誤差。同時也產(chǎn)生了一項新需求：所有圖片數(shù)據(jù)需保存 25 年以供后續(xù)質(zhì)保檢驗。

用戶的需求：如何保證數(shù)據(jù)長時間存儲的高可靠需求？

2

某大數(shù)據(jù)分析企業(yè)積攢了數(shù)個 PB 的大數(shù)據(jù)，在完成分析后這些數(shù)據(jù)的訪問量降到較低，但在一段時間內(nèi)仍需存儲保留原始數(shù)據(jù)或者分析后的中間數(shù)據(jù)。對企業(yè)來講，這數(shù) PB 的數(shù)據(jù)存儲將會是一筆不小的開銷。

用戶的需求：如何實現(xiàn)海量數(shù)據(jù)的低成本存儲需求？

3

某城市地鐵每天停運后都需要人工沿地鐵進行檢修，效率較低且需要大量人力的投入。因此計劃引入 IoT 技術(shù)：在地鐵中部署一些傳感器，檢測地鐵的聲音、溫度、圖像、視頻等，數(shù)據(jù)使用 4G 網(wǎng)絡(luò)隨時隨地上傳到云端存儲，解決人力工作成本并提高檢修效率。

用戶的需求：這些分散在地下各處的傳感器如何方便、安全、低延時的進行數(shù)據(jù)的上傳？

我們總結(jié)了這三個案例的關(guān)鍵字：高可靠、低成本、使用體驗，下面我們來詳細介紹 UFile 在這三方面所做的工作。

一 、數(shù)據(jù)高可靠

1、多副本 + 同構(gòu)的冗余機制

首先，UFile 采用 3 副本和糾刪碼技術(shù)，可以確保數(shù)據(jù)在兩塊磁盤損壞的時候數(shù)據(jù)不丟失。不同于類似 Ceph 異構(gòu)的數(shù)據(jù)分布技術(shù)，UFile 3 副本技術(shù)采用同構(gòu)的數(shù)據(jù)分布方式，這種同構(gòu)的數(shù)據(jù)分布可以保證數(shù)據(jù)更高的可靠性。

圖：同構(gòu)與異構(gòu)數(shù)據(jù)分布對比

從上圖可知，同構(gòu)情況下只有集群 a 或者 b 同時損壞 2 種丟失數(shù)據(jù)的可能情況，而在異構(gòu)結(jié)構(gòu)下有 6 種丟失數(shù)據(jù)的組合情況，同構(gòu)的可靠性顯然更高。

2、跨地域的數(shù)據(jù)災(zāi)備

UFile 是一個地域級別的存儲產(chǎn)品，為了更好的提供數(shù)據(jù)災(zāi)備能力，UFile 今年推出了跨地域的災(zāi)備功能：支持 3 個及以上的地域復(fù)制，復(fù)制方式包括鏈式結(jié)構(gòu)（A->B->C）與技術(shù)實現(xiàn)更復(fù)雜的環(huán)式結(jié)構(gòu)（A->B->C->A）。環(huán)狀結(jié)構(gòu)的優(yōu)點是能夠支持更多地域的讀寫，并滿足就近讀寫業(yè)務(wù)的需求。

圖：多地域復(fù)制及就近讀寫功能示意

3、故障處理機制的完善和創(chuàng)新

除此之外，UFile 還在故障的快速發(fā)現(xiàn)和恢復(fù)上做了不少創(chuàng)新。除應(yīng)用常規(guī)的硬件和軟件層面的監(jiān)控幫助用戶快速發(fā)現(xiàn)數(shù)據(jù)異常外，UFile 采用 Set 化的架構(gòu)設(shè)計，當(dāng)出現(xiàn)機器或磁盤故障時，可以將該 Set 集群設(shè)置為只讀，從而降低該 Set 集群的業(yè)務(wù)負載，幫助恢復(fù)程序以最快的速度恢復(fù)故障磁盤或機器，大大提高數(shù)據(jù)的可靠性。

二 、業(yè)務(wù)低成本

1、對象級別的分層存儲

UFile 采用專門的存儲機型，存儲密度更高，單位存儲的成本最低可降到計算機型的 15%。同時采用糾刪碼技術(shù)，在確保數(shù)據(jù)可靠性的前提下，存儲成本可降低到 3 副本冗余機制下的 40% 左右。

此外，UFile 還對數(shù)據(jù)分層和數(shù)據(jù)生命周期管理進行了優(yōu)化，致力于從數(shù)據(jù)分層存儲的角度進一步降低用戶存儲的成本。

用戶業(yè)務(wù)往往同時存在高頻和低頻訪問的數(shù)據(jù)，而相同數(shù)據(jù)在不同生命周期也存在不同的訪問頻率。一個剛產(chǎn)生的高頻訪問的數(shù)據(jù)，隨著時間的推移訪問頻率往往會逐漸減低，數(shù)個月后便可能從高頻轉(zhuǎn)為低頻。不同訪問頻率的數(shù)據(jù)可采用不同成本的存儲方案。

業(yè)內(nèi)早期的解決方案是通過支持熱、溫、冷 3 種存儲產(chǎn)品來滿足不同頻率訪問數(shù)據(jù)的要求，用戶分別在 3 種存儲產(chǎn)品上創(chuàng)建 Bucket，然后根據(jù)數(shù)據(jù)的訪問頻率放置到對應(yīng)的 Bucket。按照用戶設(shè)置的時間規(guī)則，在不同時間點數(shù)據(jù)會在 3 種 Bucket 進行遷移。這種解決方案雖然解決了數(shù)據(jù)存儲的成本問題，但是缺點在于對業(yè)務(wù)不太友好，需要業(yè)務(wù)感知這種變化。

圖：傳統(tǒng)的分層存儲數(shù)據(jù)流轉(zhuǎn)示意

針對該問題，UFile 在今年推出了對象級別的分層存儲方案。和傳統(tǒng)解決方案不一樣的是，UFile 支持同個 Bucket 中同時存在熱、溫、冷 3 種數(shù)據(jù)，用戶可以將同個業(yè)務(wù)中的 3 種數(shù)據(jù)上傳到同個 Bucket，同時數(shù)據(jù)訪問頻率發(fā)生變化后還會保留在同個 Bucket 中。

這種方案對用戶的業(yè)務(wù)更加友好，而且也為后續(xù)即將推出的數(shù)據(jù)自動化分層管理奠定了良好的基礎(chǔ)。用戶很多時候無法區(qū)分數(shù)據(jù)的冷、熱程度，或者無法準確的預(yù)測數(shù)據(jù)什么時候開始變冷，而更好的做法是將這些工作交給后臺程序自動完成，這樣可以讓用戶享受到最低的存儲成本。

圖：UFile 分層存儲方案數(shù)據(jù)流轉(zhuǎn)示意

2、自建大數(shù)據(jù)存儲與 UFile 歸檔存儲的成本對比

我們回到開頭的大數(shù)據(jù)用戶的場景，該企業(yè)現(xiàn)有 5PB 的數(shù)據(jù)量，因為用戶的數(shù)據(jù)訪問頻率較低，所以推薦采用 UFile 的歸檔存儲方案，下表是使用自建大數(shù)據(jù)存儲和 UFile 歸檔存儲方案成本差異對比。

事實上，我們還沒有考慮數(shù)據(jù)逐漸增長的過程，對象存儲是按需付費的，實際使用多少資源才會支付多少費用，而自建大數(shù)據(jù)存儲往往會存在資源和成本的空閑浪費。因此，針對海量數(shù)據(jù)的冷存儲，UFile 歸檔存儲方案能夠提供更高的性價比。

三 、產(chǎn)品體驗優(yōu)化

1、數(shù)據(jù)安全 + 高質(zhì)量網(wǎng)絡(luò)保證

移動設(shè)備和 IoT 設(shè)備都有隨時隨地上傳的需求，而隨時隨地的上傳則對數(shù)據(jù)安全和網(wǎng)絡(luò)質(zhì)量都提出了更高的要求。

針對該需求，首先 UFile 支持 Https 協(xié)議，支持用戶使用公私鑰或者 Token 的方式來隨時隨地的傳輸數(shù)據(jù)、確保數(shù)據(jù)的安全性。

其次，UFile 已在全球 10 多個國家和地區(qū)分布有節(jié)點，覆蓋國內(nèi)主要城市和國外主要國家，按照規(guī)劃 UFile 后續(xù)還將覆蓋到更多地區(qū)和國家。國內(nèi)外的數(shù)據(jù)節(jié)點均采用 BGP 機房或者運營商節(jié)點機房，能夠提供高質(zhì)量的網(wǎng)絡(luò)保障，確保用戶數(shù)據(jù)上傳過程中的穩(wěn)定和低延時。

圖：UFile 全球數(shù)據(jù)中心分布

2、用戶接入體驗優(yōu)化

目前 UFile 的 SDK 覆蓋了主流的開發(fā)語言，并分別支持 iOS 和 Android 移動端。同時 UFile 還兼容了常用的 S3 協(xié)議，支持第三方用戶態(tài)網(wǎng)絡(luò)文件系統(tǒng)訪問 UFile，如 S3fs、Goofys，這樣用戶可以像使用本地文件系統(tǒng)一樣使用對象存儲。相比本地文件系統(tǒng)，以 UFile 為存儲池的用戶態(tài)網(wǎng)絡(luò)文件系統(tǒng)可以為用戶帶來更大的存儲空間和更低的存儲成本。

圖：通過 Goofys 把某個 Bucket 掛載成文件系統(tǒng)并操作