摘要:去年年底因為使用了云存儲和其他方面的原因,計劃的將服務(wù)器縮減一個機柜出來。云服務(wù)的回源服務(wù)器的配置中間漏了一臺,后期給補上了。監(jiān)控遷移完畢之后,除了常規(guī)的業(yè)務(wù)代碼,還需要注意圖片資源的回源是否正常服務(wù)器壓力是否正常檢查日志是否出現(xiàn)錯誤。
去年年底因為使用了云存儲和其他方面的原因,計劃的將服務(wù)器縮減一個機柜出來。這樣今年每月機房的費用可以減少1萬左右。前前后后抽空在弄這個任務(wù),現(xiàn)做個筆記小結(jié)下。以redis服務(wù)和圖片存儲服務(wù)器的下架為主。
Redis 的遷移原來一些機器的配置比較低,Redis 服務(wù)器比較多。去年新增的幾臺服務(wù)器都是128G,所以需要將原來的服務(wù)器集中存放到新服務(wù)器上。redis 數(shù)據(jù)庫的遷移,也還算輕車熟路了。https://mengkang.net/424.html 數(shù)據(jù)同步完畢之后,再到業(yè)務(wù)代碼中修改請求地址。
注意事項:
將啟動命令添加到/etc/rc.local中。
遷移前一段時間需要觀察監(jiān)控舊服務(wù)器的確是沒有請求了,可以通過netstat配合tcpdump一起。比如遷移的時192.169.50.138的6307的業(yè)務(wù)。可以在138服務(wù)器上通過
netstat -anc|grep "138:6307"
查看是否有請求,但是發(fā)現(xiàn)這個命令有時候不準,同時可以直接通過tcpdump直接監(jiān)控網(wǎng)卡的流量
tcpdump -i em2 -vv -nn host 192.168.50.138 and port 6307
最好是收集一定周期的日志,后期我就發(fā)現(xiàn)gearman的業(yè)務(wù)的遺漏。
圖片存儲的重構(gòu)因為使用了網(wǎng)宿的云存儲,大部分的回源壓力都是指向云存儲的,而我們源站只是做以為一個備份,原來因為單機 I/O 壓力過大和防止硬盤損壞,機房有4臺磁盤陣列作為主要存儲,本部分區(qū)存在冗余,現(xiàn)在下架三臺。需要做的工作是將圖片資源通過rsync同步到一臺服務(wù)器上,然后在前端主機nginx配置回源的域名和對應(yīng)的目錄。(還是有遺漏,部分用戶頭像被我們直接搬回公司了,通過rsync從公司回傳到機房了,可以通過--bwlimit參數(shù)限速。通過iptraf -g來查看帶寬使用情況。)
Crontab 的檢查比如上面說的gearman的業(yè)務(wù),一般守護進程都在crontab都會有監(jiān)控的shell腳本。注意該服務(wù)的搬遷時,該服務(wù)的搬遷。有些服務(wù)可能一時半會沒搬遷不會顯露出問題,比如周報、月報數(shù)據(jù),可能下個月才發(fā)現(xiàn)。
同時,由于gearman worker程序是在我遷移redis之前就以守護進程的形式常駐內(nèi)存了,當我修改完各個redis服務(wù)的請求地址時,gearman worker的程序?qū)嶋H還沒更新的,所以出現(xiàn)了上面說的老服務(wù)器還有請求的情況。同理這些和遷移的redis有關(guān)的守護程序,重啟下。
由于我們各個服務(wù)器都并非單一職能的,所以可能用作其他業(yè)務(wù)。比如一臺redis服務(wù)器可能是keepalived的backup。那么需要新找一臺服務(wù)器添加為backup,同時涉及到新nginx環(huán)境的搭建,配置,舊的負載均衡服務(wù)器的配置修改(后端服務(wù)器ip,圖片資源回源請求地址等)。類似的還有php,java的配置等。
云服務(wù)的回源 web 服務(wù)器的配置(中間漏了一臺,后期給補上了)。
同時,代碼上下、分發(fā)腳本,服務(wù)批量重啟腳本,也需要配合一起修改。
因為下架的機器分布在多個機柜,現(xiàn)在要騰出來一個機柜,那么有的機器就需要斷電了,(比較暴力,見笑了。)所以需要之前要檢查各個服務(wù)器的/etc/rc.local文件,確保應(yīng)該自啟動的服務(wù)都已經(jīng)添加了,其他初始化的配置也都正常。注意 Redis 緩存數(shù)據(jù)的保存和恢復(fù)。
監(jiān)控遷移完畢之后,除了常規(guī)的業(yè)務(wù)代碼,還需要注意圖片資源的回源是否正常、服務(wù)器 I/O 壓力是否正常、檢查nginx日志是否出現(xiàn)502,500,404錯誤。
沒看夠 最近老鐵開了直播,歡迎來捧場!PHP 進階之路 - 億級 pv 網(wǎng)站架構(gòu)的技術(shù)細節(jié)與套路
PHP 進階之路 - 億級 pv 網(wǎng)站架構(gòu)實戰(zhàn)之性能壓榨
PHP 進階之路 - 后端多元化之快速切入 Java 開發(fā)
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/23188.html
摘要:本人建議第二種,更保險三轉(zhuǎn)換的位圖不能被以上版本所識別。客戶使用的時候發(fā)現(xiàn)了這個問題,沒法。五離成功只有一步之遙了,使用了之后安卓手機不能將圖片分享給朋友。識別不了問題分析安卓能識別但不能識別矢量圖片解決辦法自己手寫咯。判斷手機為安卓還是。 前言 首先做個自我介紹,我是成都某企業(yè)的一名剛剛?cè)胄屑s一年的前端,在之前的開發(fā)過程中,遇到了問題,也解決了問題,但是在下一次解決相同問題的時候,只...
摘要:本人建議第二種,更保險三轉(zhuǎn)換的位圖不能被以上版本所識別。客戶使用的時候發(fā)現(xiàn)了這個問題,沒法。五離成功只有一步之遙了,使用了之后安卓手機不能將圖片分享給朋友。識別不了問題分析安卓能識別但不能識別矢量圖片解決辦法自己手寫咯。判斷手機為安卓還是。 前言 首先做個自我介紹,我是成都某企業(yè)的一名剛剛?cè)胄屑s一年的前端,在之前的開發(fā)過程中,遇到了問題,也解決了問題,但是在下一次解決相同問題的時候,只...
摘要:煩人的數(shù)據(jù)遷移分表規(guī)則弄好后其實只是完成了分表的第一步,真正麻煩的是數(shù)據(jù)遷移,或者說是如何做到對業(yè)務(wù)影響最小的數(shù)據(jù)遷移。 showImg(https://segmentfault.com/img/remote/1460000020003851?w=1920&h=1080); 背景 前不久發(fā)過兩篇關(guān)于分表的文章: 一次分表踩坑實踐的探討 分表后需要注意的二三事 從標題可以看得出來,當...
摘要:分表字段的選擇。問題產(chǎn)生之前提到在分表應(yīng)用上線前我們需要將原有表的數(shù)據(jù)遷移到新表中,這樣才能保證業(yè)務(wù)不受影響。雖說凌晨的業(yè)務(wù)量下降,但依然有少部分的請求過來,也會出現(xiàn)各種數(shù)據(jù)庫異常。 showImg(https://segmentfault.com/img/remote/1460000019462791?w=496&h=285); 前言 本篇是上一篇《一次分表踩坑實踐的探討》,所以還沒...
閱讀 2123·2023-04-25 14:56
閱讀 2440·2021-11-16 11:44
閱讀 2696·2021-09-22 15:00
閱讀 1902·2019-08-29 16:55
閱讀 2177·2019-08-29 14:04
閱讀 2305·2019-08-29 11:23
閱讀 3678·2019-08-26 10:46
閱讀 1907·2019-08-22 18:43