国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

TiDB 在 Mobikok 廣告系統(tǒng)中的應(yīng)用和實(shí)踐

2json / 3110人閱讀

摘要:總部在中國深圳,聚焦于訂閱的海外流量變現(xiàn)業(yè)務(wù)。截止目前,系統(tǒng)已對億用戶進(jìn)行廣告優(yōu)化,已接入上百家廣告主以及上百家渠道,致力于高效,便捷,專業(yè)的幫助廣告主以及渠道互惠共贏。作者,深圳可可網(wǎng)絡(luò)服務(wù)端架構(gòu)負(fù)責(zé)人

公司介紹

Mobikok(可可網(wǎng)絡(luò))成立于 2013 年,是一家快速成長的移動(dòng)互聯(lián)網(wǎng)營銷公司,專注于移動(dòng) eCPM 營銷。總部在中國深圳,聚焦于訂閱 offer 的海外流量變現(xiàn)業(yè)務(wù)。Mobikok 提供的接口方式支持各類手機(jī)端流量(API、SDK、Smartlink),RTB(實(shí)時(shí)競價(jià)系統(tǒng))對接海外的 DSP(Demand-Side Platform,需求方平臺(tái))高效優(yōu)化客戶的廣告效果。截止目前,系統(tǒng)已對 2 億用戶進(jìn)行廣告優(yōu)化,已接入上百家廣告主以及上百家渠道,Mobikok 致力于高效,便捷,專業(yè)的幫助廣告主以及渠道互惠共贏。

場景介紹:SSP系統(tǒng)

訂閱 SSP(Sell-Side-Platform)平臺(tái)當(dāng)前業(yè)務(wù)主要分為:SDK、Smartlink、Online API 以及Offline API;在當(dāng)前 SSP SDK 業(yè)務(wù)系統(tǒng)當(dāng)中,累計(jì)用戶已達(dá)到 2 億,最初使用的是 MySQL 主從分表的方式存儲(chǔ)用戶數(shù)據(jù),隨著數(shù)據(jù)量的增加,MySQL 單機(jī)容量以及大數(shù)據(jù)量查詢成為了瓶頸;當(dāng)單表數(shù)據(jù)達(dá)到 2 千萬以上時(shí),單機(jī) MySQL 的查詢以及插入已經(jīng)不能滿足業(yè)務(wù)的需求,當(dāng)訪問量到一定階段后,系統(tǒng)響應(yīng)能力在數(shù)據(jù)庫這一塊是一個(gè)瓶頸。

一次很偶然的機(jī)會(huì)在 GitHub 上面了解到 TiDB,并且因?yàn)楝F(xiàn)在業(yè)務(wù)系統(tǒng)當(dāng)中使用的 Redis 集群是 Codis,已在線上穩(wěn)定使用兩年,聽聞 TiDB 創(chuàng)始團(tuán)隊(duì)就是之前 Codis 的作者,所以對 TiDB 有了極大的興趣并且進(jìn)行測試。通過測試單機(jī) MySQL 和 TiDB 集群,當(dāng)數(shù)據(jù)量達(dá)到數(shù)千萬級(jí)別的時(shí)候發(fā)現(xiàn) TiDB 效率明顯高于 MySQL。所以就決定進(jìn)行 MySQL 到 TiDB 遷移。

遷移后整體架構(gòu)圖:

引入TIDB

在選擇使用替換 MySQL 方案當(dāng)中。我們主要考慮幾點(diǎn):

支持 MySQL 便捷穩(wěn)定的遷移,不影響線上業(yè)務(wù);

高度兼容 MySQL,少改動(dòng)代碼;

支持水平彈性部署服務(wù)以及在線升級(jí);

支持水平擴(kuò)展業(yè)務(wù);

成熟的配套監(jiān)控服務(wù)。

TiDB 數(shù)據(jù)庫整體集群配置:2 TiDB、3 TiKV、3* PD。

從 12 月初正式上線到目前為止,TiDB 穩(wěn)定運(yùn)行四個(gè)多月,最高 QPS 達(dá)到 2000,平均 QPS 穩(wěn)定在 500 左右。TiDB 在性能、可用性、穩(wěn)定性上完全超出了我們的預(yù)期,但是由于前期我們對 TiDB 的了解還不深,在此遷移期間碰到的一些兼容性的問題,比如 TiDB 的自增 ID 的機(jī)制,排序的時(shí)候需要使用字段名等,咨詢 TiDB 的工程師都很快的得到了解決,非常感謝 TiDB 團(tuán)隊(duì)的支持以及快速響應(yīng)。

下圖是當(dāng)前集群的 Grafana 展示圖:

后續(xù)計(jì)劃

使用 TiDB 對于像我們這樣可預(yù)期核心數(shù)據(jù)會(huì)暴增的場景,有非常大的意義。在后端支撐力量有限時(shí),業(yè)務(wù)暴增時(shí)只需要增加機(jī)器,而不是頻繁重構(gòu)業(yè)務(wù),讓我們有更多精力在自己的業(yè)務(wù)上耕耘,增加我們的行業(yè)競爭力。未來我們還有 ADX(Ad Exchang,廣告交易平臺(tái)) 和 DSP 業(yè)務(wù),需要處理海量的用戶數(shù)據(jù)以及廣告數(shù)據(jù)。目前統(tǒng)計(jì)數(shù)據(jù)這一塊當(dāng)前業(yè)務(wù)當(dāng)中使用的是 Spark Streaming,通過和 TiDB 開發(fā)團(tuán)隊(duì)溝通,官方 TiSpark 可直接引入到當(dāng)前統(tǒng)計(jì) Spark 群集當(dāng)中,非常期望在后續(xù)開發(fā)當(dāng)中使用 TiSpark。

問題建議

在實(shí)際應(yīng)用當(dāng)中,因?yàn)槲覀兦袚Q的并不是只有用戶數(shù)據(jù)表,還遷移了關(guān)于廣告業(yè)務(wù)、渠道業(yè)務(wù)基礎(chǔ)數(shù)據(jù)表。由于 TiDB 是一個(gè)分布式數(shù)據(jù)庫,對于一些小表以及 count(*) 操作會(huì)影響效率,后來咨詢 TiDB 官方得知,TiDB 有不同的隔離級(jí)別,SQL 也有高低優(yōu)先級(jí),如果有全表掃描的需求,可以使用低的隔離級(jí)別或者是低的優(yōu)先級(jí)。將來我們就可以直接所有線上業(yè)務(wù)使用 TiDB 進(jìn)行替換,最后還是非常感謝 TiDB 團(tuán)隊(duì)的支持與幫助。

作者:rayi,深圳可可網(wǎng)絡(luò)服務(wù)端架構(gòu)負(fù)責(zé)人

文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/17727.html

相關(guān)文章

  • database

    摘要:它是第一個(gè)把數(shù)據(jù)分布在全球范圍內(nèi)的系統(tǒng),并且支持外部一致性的分布式事務(wù)。目的是使得開發(fā)者閱讀之后,能對項(xiàng)目有一個(gè)初步了解,更好的參與進(jìn)入的開發(fā)中。深度探索數(shù)據(jù)庫并發(fā)控制技術(shù)并發(fā)控制技術(shù)是數(shù)據(jù)庫事務(wù)處理的核心技術(shù)。 存儲(chǔ)過程高級(jí)篇 講解了一些存儲(chǔ)過程的高級(jí)特性,包括 cursor、schema、控制語句、事務(wù)等。 數(shù)據(jù)庫索引與事務(wù)管理 本篇文章為對數(shù)據(jù)庫知識(shí)的查缺補(bǔ)漏,從索引,事務(wù)管理,...

    csRyan 評論0 收藏0

發(fā)表評論

0條評論

2json

|高級(jí)講師

TA的文章

閱讀更多
最新活動(dòng)
閱讀需要支付1元查看
<