關(guān)于MQ的幾件小事（七）如果讓你設(shè)計(jì)一個(gè)MQ，你怎么設(shè)計(jì)

Vixb 發(fā)布于2019-05-23 17:29 / 1436人閱讀

摘要：能不能支持?jǐn)?shù)據(jù)丟失啊可以的，參考我們之前說(shuō)的那個(gè)數(shù)據(jù)零丟失方案其實(shí)一個(gè)肯定是很復(fù)雜的，其實(shí)這是個(gè)開(kāi)放題，就是看看你有沒(méi)有從架構(gòu)角度整體構(gòu)思和設(shè)計(jì)的思維以及能力。

其實(shí)回答這類(lèi)問(wèn)題，說(shuō)白了，起碼不求你看過(guò)那技術(shù)的源碼，起碼你大概知道那個(gè)技術(shù)的基本原理，核心組成部分，基本架構(gòu)構(gòu)成，然后參照一些開(kāi)源的技術(shù)把一個(gè)系統(tǒng)設(shè)計(jì)出來(lái)的思路說(shuō)一下就好

比如說(shuō)這個(gè)消息隊(duì)列系統(tǒng)，我們來(lái)從以下幾個(gè)角度來(lái)考慮一下

（1）首先這個(gè)mq得支持可伸縮性吧，就是需要的時(shí)候快速擴(kuò)容，就可以增加吞吐量和容量，那怎么搞？設(shè)計(jì)個(gè)分布式的系統(tǒng)唄，參照一下kafka的設(shè)計(jì)理念，broker -> topic -> partition，每個(gè)partition放一個(gè)機(jī)器，就存一部分?jǐn)?shù)據(jù)。如果現(xiàn)在資源不夠了，簡(jiǎn)單啊，給topic增加partition，然后做數(shù)據(jù)遷移，增加機(jī)器，不就可以存放更多數(shù)據(jù)，提供更高的吞吐量了？

（2）其次你得考慮一下這個(gè)mq的數(shù)據(jù)要不要落地磁盤(pán)吧？那肯定要了，落磁盤(pán)，才能保證別進(jìn)程掛了數(shù)據(jù)就丟了。那落磁盤(pán)的時(shí)候怎么落啊？順序?qū)懀@樣就沒(méi)有磁盤(pán)隨機(jī)讀寫(xiě)的尋址開(kāi)銷(xiāo)，磁盤(pán)順序讀寫(xiě)的性能是很高的，這就是kafka的思路。

（3）其次你考慮一下你的mq的可用性啊？這個(gè)事兒，具體參考我們之前可用性那個(gè)環(huán)節(jié)講解的kafka的高可用保障機(jī)制。多副本 -> leader & follower -> broker掛了重新選舉leader即可對(duì)外服務(wù)。

（4）能不能支持?jǐn)?shù)據(jù)0丟失啊？可以的，參考我們之前說(shuō)的那個(gè)kafka數(shù)據(jù)零丟失方案

其實(shí)一個(gè)mq肯定是很復(fù)雜的，其實(shí)這是個(gè)開(kāi)放題，就是看看你有沒(méi)有從架構(gòu)角度整體構(gòu)思和設(shè)計(jì)的思維以及能力。

如果你還不清楚，請(qǐng)參考前面幾篇
《消息隊(duì)列的用途、優(yōu)缺點(diǎn)、技術(shù)選型》
《如何保證消息隊(duì)列的高可用》
《如何保證消息不重復(fù)消費(fèi)》
《如何防止數(shù)據(jù)隊(duì)列數(shù)據(jù)丟失》
《如何保證消息按順序執(zhí)行》
《消息積壓在消息隊(duì)列里怎么辦》