摘要:云存儲主要技術(shù)路線有哪些各有哪些優(yōu)缺點分享一存儲虛擬化存儲虛擬化更多是對傳統(tǒng)塊的虛擬化。也是云存儲的主流當(dāng)家花旦。
哪些應(yīng)用場景適合云存儲?存儲虛擬化、分布式存儲、對象存儲這幾種技術(shù)主要解決什么問題?技術(shù)產(chǎn)品選型如何考慮?
企業(yè)哪些應(yīng)用場景適合借助云存儲來實現(xiàn)?
傳統(tǒng) IT 環(huán)境中使用傳統(tǒng)存儲的困境有那些?那些應(yīng)用場景是傳統(tǒng)存儲不能滿足而必須借助云存儲來實現(xiàn)的?
分享一:
1、虛擬機存儲
虛擬機存儲是云計算平臺中運行的虛擬機以及虛擬機鏡像的存儲環(huán)境,主要特點包括:
1) 文件較大,一般為 10G 以上;
2) 單個虛擬機的 IOPS 和帶寬要求低,一般在幾十以內(nèi);
3) 可用性要求較高。
一般來說,在云計算環(huán)境下會存在大量的虛擬機,少則上千臺,多則幾萬臺甚至幾十萬臺,雖然單臺虛擬機所需資源較少,但是量變帶來質(zhì)變,整體對于存儲的性能需求極高,該場景下為了滿足所有虛擬機訪問帶來的帶寬要求,使用傳統(tǒng)存儲的解決方案需要購置多套 SAN 或者 NAS 存儲設(shè)備并分別部署,顯然價格較貴。
云存儲可構(gòu)建統(tǒng)一的資源池,并能夠動態(tài)擴展資源,并有效提升存儲資源的管理和使用效率。結(jié)合虛擬機存儲的使用特點,存儲資源池可使用 SAS 接口的磁盤甚至 SATA 接口的磁盤。
2、非結(jié)構(gòu)化數(shù)據(jù)存儲
業(yè)務(wù)系統(tǒng)在運行過程中,一般會生成一些非結(jié)構(gòu)化的數(shù)據(jù),包括記錄的系統(tǒng)運行日志、生成的一些臨時文件等。該類型數(shù)據(jù)的特點包括:
1) 文件大小中等,一般幾十 MB 到幾百 MB 不等;
2) IOPS 和帶寬要求低,一般是連續(xù)讀寫;
3) 可用性要求較高。
該類型的應(yīng)用場景類似于虛擬機存儲,差別主要在于虛擬機主要表現(xiàn)為隨機訪問,非結(jié)構(gòu)化數(shù)據(jù)主要表現(xiàn)為連續(xù)訪問。另外,該場景下的文件數(shù)量會非常大,文件大小也差別較大,從幾 MB 到數(shù) GB 都會有。
因此,云存儲也可很好的滿足上述要求,使用廉價 SAS 和 SATA 磁盤滿足大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的存儲,并提供良好的擴展性。
3、數(shù)據(jù)庫存儲
業(yè)務(wù)系統(tǒng)運行過程中另外一個典型的存儲應(yīng)用就是關(guān)系型數(shù)據(jù)庫,基本上所有的業(yè)務(wù)系統(tǒng)均需要存儲用戶基本信息、參數(shù)信息、業(yè)務(wù)交易信息等內(nèi)容。結(jié)合數(shù)據(jù)庫使用的不同場景,包括聯(lián)機業(yè)務(wù)數(shù)據(jù)庫、批量業(yè)務(wù)數(shù)據(jù)庫和參數(shù)庫,相關(guān)的主要特點如下:
1)聯(lián)機業(yè)務(wù)數(shù)據(jù)庫:面向?qū)崟r交易業(yè)務(wù)處理過程中的數(shù)據(jù)存儲和訪問,主要特點包括業(yè)務(wù)訪問并發(fā)量很高、實時性和可用性很高、每天數(shù)據(jù)量較大等,數(shù)據(jù)表內(nèi)容可達(dá)到幾千萬甚至幾億條記錄;
2)批量業(yè)務(wù)數(shù)據(jù)庫:面向交易業(yè)務(wù)處理過程中的非實時數(shù)據(jù)處理,比如說基于歷史數(shù)據(jù)的統(tǒng)計分析,主要特點包括業(yè)務(wù)訪問并發(fā)量不高、訪問數(shù)據(jù)量較多、實時性較高等;
3)參數(shù)庫:面向業(yè)務(wù)處理過程中關(guān)聯(lián)的用戶信息、商戶信息、業(yè)務(wù)參數(shù)等內(nèi)容,主要特點包括數(shù)據(jù)增加緩慢、業(yè)務(wù)訪問并發(fā)量不高、實時性較高等。
云存儲結(jié)合固態(tài)硬盤 SSD 的應(yīng)用,完全可以滿足數(shù)據(jù)庫應(yīng)用場景下的帶寬和 IOPS 方面的性能要求。
分享二:
首先說下傳統(tǒng)存儲(包括 DAS 存儲、NAS 存儲、SAN 存儲等)的困境,主要是管理不方便,容量擴展麻煩,從成本上考慮硬件成本和維護成本都很高。
如果使用云存儲,優(yōu)點還是很明顯的,開箱即用,擴容也比較簡單。
至于哪些場景的話,主要是多媒體,音樂,圖片,視頻監(jiān)控文件,軟件,鏡像,掃描件等其他海量文件的存儲,這些都可以使用,主要還是易用性跟性價比。
分享三:
從架構(gòu)來看,云存儲比緊耦合設(shè)計的傳統(tǒng)存儲有更好的橫向擴展性,這樣在容量和性能上有更大的彈性,另外云存儲采用的糾刪碼技術(shù)也可以提供較之于傳統(tǒng) RAID 更高的可靠性,可以應(yīng)對多個數(shù)據(jù)節(jié)點的同時失效。再者基于 x86 架構(gòu)的分布式云存儲較之于傳統(tǒng)機柜式存儲有更靈活的部署方式。市面上的云存儲普遍采用低速 sata 盤,實際上,對于沒有高性能要求的非交易型系統(tǒng),對于這些系統(tǒng)產(chǎn)生的海量非結(jié)構(gòu)化數(shù)據(jù),云存儲是個不錯的選擇。另外,從對海量數(shù)據(jù)的處理性能上來看,尤其是存儲容量在幾百 TB,甚至是 PB 級,文件數(shù)量在千萬、億量級的時候,傳統(tǒng)的 SAN 和 NAS 實際上已經(jīng)有了瓶頸,而采用扁平化數(shù)據(jù)組織方式的對象存儲就有了很明顯的優(yōu)勢。
分享四:
云存儲相對傳統(tǒng)存儲能解決的問題:
1.節(jié)點級的高可用;傳統(tǒng)存儲只解決硬盤級的故障,對設(shè)備整機損壞沒有防護
2.整體接入性能隨容量線性增長,多節(jié)點并發(fā)讀寫的模式;傳統(tǒng)存儲的 IO 性能隨著擴展柜的增加呈拋物線分布
云存儲的適用場景:
1.開源云計算的后端存儲,如果上 openstack,cloudstack,通常后端會配分布式存儲而不是 SAN 存儲。
2.海量非結(jié)構(gòu)化數(shù)據(jù)存儲,對于數(shù) PB 的數(shù)據(jù)的統(tǒng)一存儲,通常需借助分布式文件系統(tǒng)。
3.海量小文件數(shù)據(jù)存儲,對于文件規(guī)模上億的存儲場景,通常使用對象云存儲,以獲得更高的 IO 性能和擴展性。
分享五:
從不度的維度可以有很多場景,幾乎上規(guī)模的容量、性能及文件數(shù)量要求的大前提下,基本上都可考慮采用云存儲實現(xiàn)。從常規(guī)容量及性能維度來看,場景有海量存儲需求(如多媒體存儲)、對容量、讀寫性能有同步橫向擴展需求(超算或高性能計算)等。從數(shù)據(jù)結(jié)構(gòu)類型維度來看,如非結(jié)構(gòu)化數(shù)據(jù)、大型數(shù)據(jù)庫、虛擬機存儲等。
云存儲主要技術(shù)路線有哪些?各有哪些優(yōu)缺點?
分享一:
存儲虛擬化:
存儲虛擬化更多是對傳統(tǒng)塊(FC SAN,IP SAN)的虛擬化。 其主要解決了企業(yè)內(nèi)部傳統(tǒng)存儲資源無法有效進行存儲資源整合和統(tǒng)一管理的難題。可以有效的提升整體存儲資源的利用率和降低人員運維成本。
同時作為虛擬化網(wǎng)關(guān),極大的方便了異構(gòu)品牌平臺存儲間的數(shù)據(jù)集中和數(shù)據(jù)遷移。
很多存儲虛擬化網(wǎng)關(guān)本身具有遠(yuǎn)超傳統(tǒng)存儲的企業(yè)級軟件功能:比如thin,壓縮,快照,clone,數(shù)據(jù)復(fù)制等。可以通過虛擬化網(wǎng)關(guān)進行統(tǒng)一的存儲復(fù)制交付功能。
所以存儲虛擬化的主要勇武之地還是在傳統(tǒng)IT環(huán)境及私有云環(huán)境。自然面向的也是高IO負(fù)載,低讀寫延遲等重要應(yīng)用業(yè)務(wù)環(huán)境,比如數(shù)據(jù)庫。是對傳統(tǒng)IT環(huán)境中企業(yè)存儲陣列的一個補充和升華。
SDS軟件定義分布式存儲:
為什么對于分布式存儲我要在開頭加上“SDS軟件定義呢”? 因為我們這里討論的是云存儲關(guān)聯(lián)的分布式存儲。
分布式存儲早多少年即有之了,并且很多都耳熟能詳。比如EMC 的VMAX 高端存儲陣列就是一種緊耦合的專有硬件的,硬件和軟件相集成的傳統(tǒng)分布式存儲陣列。比如IBM 的XIV 高存儲陣列也是硬件和軟件相集成的高密度容量的分布式存儲陣列。這些傳統(tǒng)分布式存儲陣列具有傳統(tǒng)高端存儲的高IOPS,低讀寫延遲優(yōu)點,同時有具有分布式存儲多副本,節(jié)點冗余自恢復(fù)等特色。
再說一說SDS 軟件定義分布式存儲,這個是云里面,無論是公有云還是私有云都在炒的潮流。也是云存儲的主流當(dāng)家花旦。
一般的SDS 軟件定義分布式存儲產(chǎn)品功能協(xié)議支持都比較全:
A. 塊block協(xié)議 給輕量級數(shù)據(jù)庫,VM,提供高性能塊裸設(shè)備。
B. 文件file協(xié)議提供類似NAS 的文件共享功能或是承載非IO性能密集型的應(yīng)用。
C. 支持api調(diào)用存取object 對象,用來存儲海量數(shù)據(jù)文件。
針對以上三個協(xié)議我要多說幾句:
1、首先SDS分布式存儲在block塊協(xié)議這方面相比傳統(tǒng)存儲在高性能低延遲、成本控制及易管理維護方面沒有任何優(yōu)勢。同樣的一套oracle數(shù)據(jù)庫采用傳統(tǒng)存儲TCO總體擁有成本方面有可能只是SDS分布式存儲成本的1/2甚至更少,這個在以前可能是誤區(qū),可能大家都認(rèn)為開源的,或是軟件定義的自己DIY搭的東西是最便宜的,其實很多時候事實剛好相反,開源的DIY的東西反而可能是最昂貴的。
對于傳統(tǒng)IO密集型數(shù)據(jù)庫應(yīng)用來說,當(dāng)前較好的存儲模式還是采用傳統(tǒng)高端存儲陣列,因為這就好比存儲中的跑車法拉利,雖然價格貴,但是久經(jīng)驗證,在性能和穩(wěn)定性方面可靠。
SDS分布式存儲當(dāng)前因為三副本等原因容量成本在超大規(guī)模以下場景成本優(yōu)勢不明顯,甚至是劣勢。性能方面還是只能適用于opentask、VM、輕量級數(shù)據(jù)庫場景。塊協(xié)議普遍存在IO輸出不穩(wěn)定、延遲高等缺點。另外一個缺點就是在企業(yè)級存儲軟件功能方面,比如快照、clone,復(fù)制等技術(shù)方面相較傳統(tǒng)存儲還不是十分成熟,無法在生產(chǎn)環(huán)境中應(yīng)用。
但是SDS 軟件定義分布式存儲是未來的大方向,也是在逐漸成熟中,未來一統(tǒng)天下也未可知。
2.SDS 分布式存儲在file文件協(xié)議這一塊PK的對手也慢多的,像傳統(tǒng)的NAS存儲,越來越火的分布式或是集群文件系統(tǒng),比如GlusterFS、GPFS 等,個人感覺這一塊SDS分布式存儲會搶占很多傳統(tǒng)NAS的市場份額,畢竟很多使用NAS的應(yīng)用在IO性能和延遲方面要求低很多, 使用分布式存儲的file協(xié)議,可以解決NAS 產(chǎn)品scale-out橫向擴展不足的缺點。NAS 能應(yīng)用的很多場景,一款優(yōu)秀的SDS分布存儲file協(xié)議應(yīng)該也可以滿足。
3.對象協(xié)議。
這個放在下文對象存儲中一起討論。畢竟多數(shù)SDS 分布式存儲的底層就是調(diào)用對象來存儲和讀取數(shù)據(jù)的。塊block協(xié)議功能和file協(xié)議功能都是間接調(diào)用基于的對象來實現(xiàn)的。
對象存儲:
其實這個沒有什么好說的。對象存儲的出現(xiàn)就是為解決了互聯(lián)網(wǎng)上存儲海量大數(shù)據(jù)的問題。比如存儲萬億的視頻、圖片,照片等。比如進行海量的數(shù)據(jù)歸檔,數(shù)據(jù)備份等。現(xiàn)在很流行的用法就就是用對象存儲存儲海量非結(jié)構(gòu)化數(shù)據(jù),然后進行大數(shù)據(jù)分析。
優(yōu)點:對象存儲其采用key-volume的扁平化存儲架構(gòu)設(shè)計,使用簡單,調(diào)用API就能進行數(shù)據(jù)存儲和讀取。可以存儲海量數(shù)據(jù),這點傳統(tǒng)存儲和NAS就沒轍。在海量數(shù)據(jù)場景中你只能選擇對象存儲。如果傳統(tǒng)SAN存儲是跑車,NAS是貨車,那么對象存儲就是萬億噸海上集裝箱大油輪。對對象存儲來說,單個客戶端的訪問效率不高,延遲也很高。但是你架不住他海量并發(fā)呀,互聯(lián)網(wǎng)上海量客戶端并發(fā)訪問,這個帶寬和總體性能一下就上去了。
缺點:單個客戶端訪問效率低,延遲高。應(yīng)用功能和場景受限。對象存儲不支持隨機讀寫操作,只能全讀全寫,其面向的是一次寫入,多次讀取的非結(jié)構(gòu)化數(shù)據(jù)存儲的需求場景。
企業(yè)在分布式存儲技術(shù)上主要是解決那些問題?并且技術(shù)產(chǎn)品選型上應(yīng)該如何考慮?
分享一:
SDS 軟件定義分布式存儲支持三種協(xié)議方式:
A. 塊 block 協(xié)議 給輕量級數(shù)據(jù)庫,VM,提供高性能塊裸設(shè)備
B. 文件 file 協(xié)議提供類似 NAS 的文件共享功能或是承載非 IO 性能密集型的應(yīng)用
C. 支持 api 調(diào)用存取 object 對象,用來存儲海量數(shù)據(jù)文件
雖然 SDS 分布式存儲有很多中,但是仔細(xì)分析會發(fā)現(xiàn)不同廠商的分布式存儲都會有其清晰的市場定位和優(yōu)勢場景:
比如 solidfire 其主要定位就在塊 block 協(xié)議,不提供 file 和 object 對象功能。其主要定位就是 7 成用來云 opentask,VM,2 成用在輕量級數(shù)據(jù)庫比如 mongoDB,PG,1 成用來 IOPS 2W 左右的物理機。并且其核心設(shè)計里理念就是云里面保證 qos,單個 host 提供有限的 IO,其架構(gòu)不適用于高帶寬應(yīng)用。 但其優(yōu)勢就是用豐富的 API,和云集成比較好。不能滿足也不適合傳統(tǒng)高性能數(shù)據(jù)庫應(yīng)用。
比如華為 Fusionstorage block 存儲其定位也是在塊 block ,主要提供高性能塊存儲,可以適用于一般的高性能數(shù)據(jù)庫。但是也不支持 file 和 object 協(xié)議。其支持應(yīng)用主機通過兩種模式 SCSI 和 iSCSI 模式訪問存儲集群。
仔細(xì)分析其架構(gòu)和 IO 傳輸路徑會發(fā)現(xiàn):單個主機在 iSCSI 訪問模式下只能訪問部分的存儲節(jié)點,無法做到整個集群的 IO 并發(fā)響應(yīng)。單個主機的 IO 路徑和 IO 性能被限制在固定的幾個存儲節(jié)點,此模式下無法發(fā)揮出分布式存儲的架構(gòu)優(yōu)勢,總體使用方式類似傳統(tǒng) SAN 存儲(這樣還不如用傳統(tǒng)存儲來的高效和方便)。其他的分布式 IP SAN 存儲只要使用 iSCSI 協(xié)議也都存在這樣架構(gòu)劣勢。
Fusionstorage 采用 SCSI 模式訪問存儲集群時,才真正意義上做到對單個應(yīng)用主機的 IO 處理的分布式并發(fā)處理響應(yīng)。
所以說在玩分布式 IP SAN 存儲時,對同一個存儲產(chǎn)品,其支持的那種存儲訪問協(xié)議和模式的很重要。這甚至決定了你是把一套分布式存儲當(dāng)做傳統(tǒng)存儲在用,還是在真正意義上當(dāng)做分布式存儲在用。
比如 WOS 其定位就是 objec 對象海量文件使用場景,其在塊 bolck 場景應(yīng)用上就不行了。
還有 ceph 其 塊,file,object 協(xié)議都能提供,但是總體上地位比較尷尬。 塊協(xié)議方面比不上專業(yè)廠商的分布式存儲,file 功能還不成熟。 object 也比不上專業(yè)做 object 的廠商。 但好在其是開源的。
所以首先要明白你的業(yè)務(wù)類型和存儲適用場景。針對你的需求來選擇不同的分布式存儲來滿足應(yīng)用業(yè)務(wù)需求。
傳統(tǒng)存儲陣列分布式架構(gòu)和 SDS 軟件定義分布式存儲架構(gòu)的相同點和不同點?各自定位有何不同?
分享一:
兩者都是分布式存儲,主要是適用場景有所不同。
差異分三個層面說,
1.硬件形態(tài):部分高端的傳統(tǒng)分布式陣列還是控制器架構(gòu),而后者基本是直接跑在 x86 服務(wù)器上和計算融合在一起使用
2.冗余實現(xiàn):有所不同,前者更多用糾刪碼;后者更多是做副本,也有先做 RAID 再做副本,糾刪碼比較少
3.產(chǎn)品的商業(yè)模式:前者屬于一個完整的產(chǎn)品,通常來自傳統(tǒng)存儲公司或硬件設(shè)備廠商,例如 EMC 的Isilon,
后者主要給虛擬化提供支持,很少作為獨立產(chǎn)品出現(xiàn),更多來自軟件廠商,例如現(xiàn)在 openstack 的各種后端存儲,ceph,gluster,swift
前者優(yōu)勢是性能和可靠性,更適合專業(yè)的細(xì)分應(yīng)用,比如廣電行業(yè)的視頻編輯應(yīng)用、IO 密集型的數(shù)據(jù)庫應(yīng)用等;
后者的優(yōu)勢是彈性擴展、接口豐富、開源,主要是軟件廠商在使用和維護
分享二:
這兩者的第一個差異點是通用硬件和專有硬件。
SDS 明確定義是基于通用硬件,大部分情況下“通用硬件”是指 X86 服務(wù)器。如果用車子打比方那就是量產(chǎn)車,上 4S 店就能買到的豐田大眾寶馬奔馳。
而傳統(tǒng)陣列通常是專有的控制器架構(gòu),常見都是雙控或多控,所謂控制器是一個為存儲產(chǎn)品的使命專門設(shè)計制造的專有設(shè)備,有時候你也可以理解為嵌入式的軟硬件一體設(shè)備,為存儲這種特殊用途定制。同樣用汽車類比那就是特殊用途車,越野暴改車。
分布式架構(gòu)都是基于多個硬件節(jié)點,利用軟件和其內(nèi)涵的分布式算法有機地揉和成一個系統(tǒng),向外提供高可靠高并發(fā)的服務(wù)。和傳統(tǒng)存儲相比,兩種的“基底”硬件明顯是不同的。SDS 的硬件節(jié)點是通用型,自然硬件可靠性也比較一般。因此需要在軟件和算法層面更多的考慮到硬件故障,上規(guī)模的產(chǎn)品通常在設(shè)計時就把設(shè)備節(jié)點故障當(dāng)中常態(tài)處理,并不視為異常。而傳統(tǒng)存儲這邊的硬件在可靠性上明顯更強,對數(shù)據(jù)強一致性等指標(biāo)更為重視。
從系統(tǒng)架構(gòu)上看,SDS 有很多是對稱式架構(gòu),所有節(jié)點配置都相同,標(biāo)準(zhǔn)化的硬件節(jié)點,像樂高積木一樣自由增加,性能容量同步橫向擴展。傳統(tǒng)存儲陣列做分布式還是非對稱式多,構(gòu)建系統(tǒng)有多種規(guī)格和角色設(shè)定的節(jié)點,甚至是異構(gòu)的。這種系統(tǒng)一般必須有一個控制/管理節(jié)點,所謂“機頭”或者“存儲網(wǎng)關(guān)”,下面再掛接“后端存儲”,即各類陣列,異構(gòu)兼容。
由于固態(tài)存儲的廣泛應(yīng)用,基于通用 X86 服務(wù)器的 SDS 也能通過多節(jié)點聚合得到很好的性能表現(xiàn),因此傳統(tǒng)存儲在性能上的優(yōu)勢不再,兩者都能提供給應(yīng)用系統(tǒng)足夠的性能。SDS 通常把原來依附于傳統(tǒng)高端存儲的企業(yè)級高級功能如快照克隆遠(yuǎn)程復(fù)制都提煉出來放到軟件里,在某種程度上也提供了這些高級功能,但整體架構(gòu)的變化,(SDS+計算虛擬化,兩者再深度結(jié)合就變成 HCI 超融合架構(gòu)),導(dǎo)致一些容災(zāi)備份實現(xiàn)機制有別于傳統(tǒng),提供了新的可能性,是否繼續(xù)沿用舊機制值得關(guān)注。
從定位上來說,我認(rèn)為傳統(tǒng)存儲陣列的分布式還是屬于漸進式創(chuàng)新,在原來的傳統(tǒng) IT 環(huán)境基礎(chǔ)上做的小步調(diào)整,和原有應(yīng)用和系統(tǒng)配合度比較高,改動不大。擴展規(guī)模上相對來說小一點。如果有系統(tǒng)改造的需求,這類架構(gòu)是可以考慮的。
而 SDS 還是有較大的變化,有點顛覆性創(chuàng)新的意思,架構(gòu)變化較大,系統(tǒng)移植過去能夠獲得更好的擴展性,能夠適應(yīng)更大的系統(tǒng)規(guī)模,但是原來的舊系統(tǒng)很多無法利用。勉強連上也只能保證連通性,性能和高級功能就顧不上了,所以總體來說可能更適合新建的系統(tǒng)。
企業(yè)在存儲虛擬化技術(shù)上主要是解決那些問題?并且技術(shù)產(chǎn)品選型上應(yīng)該如何考慮?
分享一:
主要是解決:
1. 異構(gòu)存儲的集中管理
2. 存儲資源的池化
3. 為存儲自動化建設(shè)蓄力
4. 為云環(huán)境準(zhǔn)備存儲資源
5. 提高存儲使用和運營效率
6. 數(shù)據(jù)的備份和分層
……
所以啊,主要考慮:
1. 兼容性
2. 易用性
3. 對于性能的提升
4. 附加功能夠不夠滿足二期建設(shè)要求
5. 安全性
6. 價格。。。土豪無視
分享二:
補充一點。豐富的軟件功能性能也是一個重要的考慮點。
就拿 svc 和 vplex 來對比。svc 在軟件功能:thin,快照,clone,壓縮,數(shù)據(jù)復(fù)制等軟件功能方面全面并且強大。版本的 svc 甚至直接支持將自身數(shù)據(jù)和快照通過 s3 接口直接上傳到云和對象存儲,進行復(fù)制和備份。
而這些恰恰是 vplex 的短板。vplex 缺乏當(dāng)今企業(yè)級存儲必要的軟件功能,甚至在這方面遠(yuǎn)落后于一般的存儲陣列。如數(shù)據(jù)保護,壓縮,分層,thin 等。更為奇葩的是竟然不支持在 vplex 上做快照,clone 和復(fù)制。
這讓 vplex 僅僅只是一個虛擬化網(wǎng)關(guān)功能。無法做到在虛擬化層面,對存儲軟件功能進行整合和在虛擬化層對外提供一致存儲軟件功能。但是就是因為功能少,復(fù)雜度降低,在穩(wěn)定性和性能方面比 svc 有優(yōu)勢。并且 svc 集群不是真整意義上的分布式架構(gòu),而是分多個 iog 組每個組內(nèi)的兩個節(jié)點是類似中端存儲的主被模式。
總之如果你在存儲虛擬化層不需要一些基本的軟件功能,比如 thin,快照,clone 等,那你可以選擇vplex 也可以選擇 svc。
如果你想要一個完整的存儲虛擬化解決方案。那么你沒得選,只能選擇 svc。
企業(yè)在應(yīng)用對象存儲技術(shù)主要是解決那些問題?并且技術(shù)產(chǎn)品選型上應(yīng)該如何考慮?
分享一:
文件 NAS 存儲的缺點:
讀寫速率低,傳輸速率慢:以太網(wǎng),上傳下載速度較慢,讀寫延遲比傳統(tǒng) SAN 存儲高很多。
雖說也可以存儲海量文件,但是因為 inode,目錄層級的限制,單個目錄深度和存儲文件數(shù)量是有上限的,分層文件結(jié)構(gòu)的命名空間有限,無法在真正意義上做到存儲海量數(shù)據(jù)。
塊或 SAN 存儲的缺點:
1.采用 SAN 架構(gòu)組網(wǎng)時,需要額外為主機購買光纖通道卡,還要買光纖交換機,造價成本高。
2、主機之間的數(shù)據(jù)無法共享,在服務(wù)器不做集群的情況下,塊存儲裸盤映射給主機,再格式化使用后,對于主機來說相當(dāng)于本地盤,那么主機 A 的本地盤根本不能給主機 B 去使用,共享數(shù)據(jù)受到很多限制。
3、一般都是集中使用方式,一個主機分好多的盤。擴展性方面是硬傷。單個應(yīng)用容量及其容易到達(dá)單臺存儲容量上限的限制。
對象存儲綜合了 NAS 和 SAN 的優(yōu)點,同時具有 SAN 的高速直接訪問和 NAS 的數(shù)據(jù)共享等優(yōu)勢,提供了高可靠性、跨平臺性以及安全的數(shù)據(jù)共享的存儲體系結(jié)構(gòu)。最最重要的是其接近無限擴展能力的,可以在真正意義實現(xiàn)非結(jié)構(gòu)話數(shù)據(jù)的海量存儲。其扁平化的存入和讀取數(shù)據(jù)對象方式,使其使用方式簡單,應(yīng)用通過標(biāo)準(zhǔn) API 接口進行調(diào)用,十分契合互聯(lián)網(wǎng)大數(shù)據(jù)的存儲。
對象存儲典型使用場景:
數(shù)據(jù)采集(情報、監(jiān)視、偵察和合法攔截)
數(shù)據(jù)采集(視頻監(jiān)控)
數(shù)據(jù)備份、歸檔、版本管理
數(shù)據(jù)協(xié)同(公共數(shù)據(jù)平臺)
數(shù)據(jù)源和數(shù)據(jù)分發(fā)(CDN)
對比傳統(tǒng)存儲解決方案的優(yōu)勢:
架構(gòu)簡潔,易于維護,經(jīng)濟高效
EB 級擴展能力
對象數(shù)量達(dá)萬億級
高性能
跨地域部署
分享二:
對象存儲天生具備分布式的架構(gòu)優(yōu)勢,擴展方便;另外它沒有多層樹級文件目錄,采用查表式訪問操作,小IO性能好,適用于海量小文件的應(yīng)用模式。如果業(yè)務(wù)收益可以支撐 IT 投入,又有一定的研發(fā)維護能力,可以用開源對象存儲方案自己搭建。
分享三:
1.解決跨地域多點協(xié)同數(shù)據(jù)訪問
2.解決海量文件持續(xù)一次寫入多次訪問的問題
選型上考慮數(shù)據(jù)保護的等級和成本以及初期落地的量級等因素。
另外運維的管理能力和售后支持團隊也需要做為考慮范圍。
盡量選擇經(jīng)過經(jīng)久考驗的廠商品牌。
分布式存儲和對象存儲應(yīng)用場景有哪些不同?
分享一:
通常,分布式存儲和對象存儲是包含關(guān)系,
分布式存儲是一種存儲節(jié)點的物理組織形態(tài),
分布式存儲可以提供塊存儲、文件存儲和對象存儲服務(wù);
是相對傳統(tǒng)單機集中存儲的概念。
對象存儲是一種邏輯上的存儲訪問接口,
是指采用 restful 框架進行數(shù)據(jù)訪問的模式,本質(zhì)上也是一種輕元數(shù)據(jù)、功能簡化的文件存儲,對象存儲在物理上通常是分布式的形態(tài)。
看一下上圖你就知道
傳統(tǒng)存儲的局是不是越來越小了?
分享一:
我說一下我個人的經(jīng)驗。
sds 軟件定義存儲,分布式存儲和對象存儲是未來大的趨勢這個一定是對的。
傳統(tǒng)存儲在近幾年還會是主流存儲。
為什么?我只說快 block 這個方面。就拿我測試過得多家 sds 分布式塊存儲來說吧。國產(chǎn) ceph,華為fusionstorage,solidfire,hedvig 等。他們有個共同的特點就是不夠成熟。展示 PPT 的時候一個比一個能吹,讓你覺得牛逼到爆。實際測試后基本見光死。
性能方面還是比傳統(tǒng)存儲有差距,io 穩(wěn)定性方面也較差,當(dāng)前階段只能用在 io 性能要求不高的輕量型應(yīng)用上面,生產(chǎn)先不要想,先在測試上用用,并且是 io 要求較低的測試應(yīng)用。
還有一個缺陷就是存儲軟件功能方面非常不成熟,快照 clone,復(fù)制完全就是不能用,大多不支持一致性快照組。這些在傳統(tǒng)存上平平常常的功能方案,你和 sds 軟件的研發(fā)人員聊他們壓根沒有一致性快照組,對快照,clone 卷 overwrite 刷新這些概念。
分享二:
首先,如果定義為傳統(tǒng)存儲,并且固守原來的架構(gòu)方式,甚至缺陷和不符合新型應(yīng)用需求的特點,那么毫無疑問,它注定就是要被顛覆的,新技術(shù)打破傳統(tǒng),是歷史的必然。
另一方面,傳統(tǒng)存儲有它本身優(yōu)點,結(jié)合自身的優(yōu)點,有它命脈的傳承,比如閃存,存儲存儲化產(chǎn)品,其實某種程度上是在傳統(tǒng)存儲領(lǐng)域的拓展,是傳統(tǒng)存儲的進步和突破,是具備沿襲的特征的。
IT 架構(gòu)就是通過不斷改變,迭代,從而進步的。
聲明:文章收集于網(wǎng)絡(luò),如有侵權(quán),請聯(lián)系小編及時處理,謝謝!
歡迎加入本站公開興趣群
軟件開發(fā)技術(shù)群
興趣范圍包括:Java,C/C++,Python,PHP,Ruby,shell等各種語言開發(fā)經(jīng)驗交流,各種框架使用,外包項目機會,學(xué)習(xí)、培訓(xùn)、跳槽等交流
QQ群:26931708
Hadoop源代碼研究群
興趣范圍包括:Hadoop源代碼解讀,改進,優(yōu)化,分布式系統(tǒng)場景定制,與Hadoop有關(guān)的各種開源項目,總之就是玩轉(zhuǎn)Hadoop
QQ群:288410967?
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/3491.html
摘要:云存儲主要技術(shù)路線有哪些各有哪些優(yōu)缺點分享一存儲虛擬化存儲虛擬化更多是對傳統(tǒng)塊的虛擬化。也是云存儲的主流當(dāng)家花旦。哪些應(yīng)用場景適合云存儲?存儲虛擬化、分布式存儲、對象存儲這幾種技術(shù)主要解決什么問題?技術(shù)產(chǎn)品選型如何考慮? 企業(yè)哪些應(yīng)用場景適合借助云存儲來實現(xiàn)? 傳統(tǒng) IT 環(huán)境中使用傳統(tǒng)存儲的困境有那些?那些應(yīng)用場景是傳統(tǒng)存儲不能滿足而必須借助云存儲來實現(xiàn)的? 分享一: ...
摘要:第一階段基礎(chǔ)階段基礎(chǔ)程序員重點把搞熟練核心是安裝配置基本操作目標(biāo)能夠完成基本的系統(tǒng)安裝,簡單配置維護能夠做基本的簡單系統(tǒng)的開發(fā)能夠在中型系統(tǒng)中支持某個功能模塊的開發(fā)。本項不做重點學(xué)習(xí),除非對前端有興趣。 第一階段:基礎(chǔ)階段(基礎(chǔ)PHP程序員) 重點:把LNMP搞熟練(核心是安裝配置基本操作) 目標(biāo):能夠完成基本的LNMP系統(tǒng)安裝,簡單配置維護;能夠做基本的簡單系統(tǒng)的PHP開發(fā);能夠在P...
摘要:平安云誕生于平安集團的科技大本營,多年的金融經(jīng)驗積累使得平安云對金融行業(yè)架構(gòu)規(guī)范,金融業(yè)務(wù)系統(tǒng)流量特征及安全合規(guī)性等均有獨到的見解。 平安云誕生于平安集團的科技大本營,多年的金融IT經(jīng)驗積累使得平安云對金融行業(yè)架構(gòu)規(guī)范,金融業(yè)務(wù)系統(tǒng)流量特征及安全合規(guī)性等均有獨到的見解。從13年底立項以來,平安金融云一直盡可能走開源和自研結(jié)合的路線,自主研發(fā)了IaaS層的全套產(chǎn)品線,為金融行業(yè)客戶提供可靠、彈...
摘要:騰訊云在年底決定開發(fā)容器產(chǎn)品隨后組建容器技術(shù)團隊并進行技術(shù)選型通過對不同編排工具的分析對比最終選擇作為容器編排引擎并且迅速在年初推出容器解決方案為用戶提供托管的一站式服務(wù)。但是騰訊云最終選擇了現(xiàn)在看來這個選擇無比正確。Kubernetes 很火,一大批互聯(lián)網(wǎng)公司早已領(lǐng)先一步,搭建起專有的 PaaS平臺,傳統(tǒng)企業(yè)們看到的 Kubernetes的趨勢,亦不甘落后,在試水的道上一路狂奔。雖然,Ku...
閱讀 3166·2021-11-22 15:25
閱讀 3837·2021-11-17 09:33
閱讀 3360·2021-11-08 13:15
閱讀 3043·2021-09-22 10:56
閱讀 535·2021-08-31 09:45
閱讀 2744·2019-08-30 13:49
閱讀 3072·2019-08-30 12:52
閱讀 1136·2019-08-29 17:05