雙十一又來(lái)了，今年是第10個(gè)年頭。
對(duì)于大部分人意味著剁手，可對(duì)于N多背后護(hù)持雙11的IT人來(lái)說(shuō)，那就是赤果果的——Just剁 IT！
每逢“雙十一”最緊張的不是商鋪理貨，也不是網(wǎng)友緊盯大促商品準(zhǔn)備秒殺，而是網(wǎng)購(gòu)幕后的運(yùn)維人員，他們最擔(dān)心：什么網(wǎng)絡(luò)中斷、應(yīng)用卡頓、響應(yīng)速度慢，服務(wù)器宕機(jī)……
雙十一作為電商 IT 部門的頭等大事，大促前，運(yùn)維人員就需要早早地做好多套預(yù)備方案，并時(shí)刻緊繃著神經(jīng)，經(jīng)歷著上百次模擬演練。他們?cè)诤蠖擞卸嗌俨幻卟恍莸囊雇?，不得而知。幾年前，一?chǎng)秒殺讓服務(wù)器宕機(jī)是常態(tài)，現(xiàn)在，一秒數(shù)十萬(wàn)的訂單，服務(wù)器依然堅(jiān)挺。毫無(wú)疑問(wèn)，支撐起這一切的是強(qiáng)有力的技術(shù)和運(yùn)維人一個(gè)個(gè)不眠的夜晚。
看似簡(jiǎn)單的雙十一背后牽扯到是包括支付、架構(gòu)、數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)、運(yùn)維、電力、客服、物流等整個(gè)商業(yè)配套基礎(chǔ)設(shè)施的協(xié)同和考驗(yàn)。
雙十一大促的那些年 運(yùn)維邁過(guò)的坑
天貓雙十一大促最早開(kāi)始于 2009 年，那時(shí)候還是淘寶商城，一天的 GMV 只有幾千萬(wàn)，而且還沒(méi)有零點(diǎn)全民瘋搶的概念。在大促前工程師們基本上會(huì)根據(jù)各自的經(jīng)驗(yàn)判斷，比如服務(wù)器的當(dāng)前負(fù)載、應(yīng)用的當(dāng)前 RT 和 QPS，判斷每臺(tái)服務(wù)器最大能支撐多少能力等，然后幾個(gè)人討論后就決策拍板，某某核心應(yīng)用各自要加多少臺(tái)服務(wù)器，到底要加多少服務(wù)器，實(shí)際上大家的心里沒(méi)底，實(shí)在不放心臨時(shí)再多申請(qǐng)擴(kuò)容?？傊@個(gè)階段業(yè)務(wù)量也小，也能應(yīng)付過(guò)去。
后來(lái)幾年隨著天貓品牌的提升，雙十一大促逐年爆發(fā)，原來(lái)的運(yùn)維方式已經(jīng)無(wú)法適用。業(yè)務(wù)發(fā)展迅速，后端的應(yīng)用數(shù)量也大大增加，各個(gè)應(yīng)用系統(tǒng)之間的調(diào)用鏈路錯(cuò)綜復(fù)雜。大促前到底要準(zhǔn)備擴(kuò)容多少資源？不能拍腦袋熱，因?yàn)槟闵暾?qǐng)資源太多會(huì)可能被拒絕，申請(qǐng)少了你要承擔(dān)更大的風(fēng)險(xiǎn)。
這時(shí)候用線上壓測(cè)的方式來(lái)解決，比如可以直接在生產(chǎn)環(huán)境抽取 1 臺(tái)服務(wù)器，通過(guò)模擬回放或者直接引入多倍流量做壓測(cè)，根據(jù)壓測(cè)結(jié)果計(jì)算出單臺(tái)服務(wù)器的最大可承載能力，然后用數(shù)字來(lái)說(shuō)話，去申請(qǐng)擴(kuò)容。還有就是即使容量規(guī)劃做到位了，但在零點(diǎn)峰值的時(shí)候還是可能會(huì)超出預(yù)期，系統(tǒng)還是會(huì)擠爆。所以又引入了限流和降級(jí)，限流就是對(duì)各個(gè)應(yīng)用設(shè)置一個(gè)最大閾值，超過(guò)閾值就立刻拒絕新的請(qǐng)求，這樣的好處就是保護(hù)應(yīng)用，避免雪崩。
還有就是降級(jí)，由于應(yīng)用太多，在大促的期間，可以關(guān)閉部分非核心功能，保證交易主流程的能力最大化。那個(gè)階段的壓測(cè)也不是完全精確的，主要問(wèn)題是壓測(cè)的局限性，只是對(duì)某個(gè)應(yīng)用做單獨(dú)壓測(cè)，但是應(yīng)用之間是有依賴有關(guān)聯(lián)的，特別是一些共享服務(wù)中心，基本上被所有應(yīng)用都依賴調(diào)用，那怎么辦呢？后來(lái)幾年時(shí)間又研發(fā)出新的壓測(cè)工具，全鏈路壓測(cè)。這個(gè)對(duì)于容量規(guī)劃來(lái)說(shuō)，是全新的思路，直接在生產(chǎn)環(huán)境上通過(guò)模擬復(fù)制產(chǎn)生大批的流量，每個(gè)環(huán)節(jié)都會(huì)被壓測(cè)到，并有相應(yīng)的監(jiān)控系統(tǒng)配套，來(lái)找出瓶頸點(diǎn)在哪里，并迅速優(yōu)化。而且這個(gè)過(guò)程被自動(dòng)化完成。
可見(jiàn)，自動(dòng)化運(yùn)維是大勢(shì)所趨。
零點(diǎn)瘋搶背后的運(yùn)籌帷幄
現(xiàn)在的電商雙十一大促活動(dòng)仍舊延續(xù)零點(diǎn)瘋搶模式，對(duì)于應(yīng)用系統(tǒng)保障來(lái)說(shuō)，能否順利扛過(guò)前 15 分鐘，甚至是前幾分鐘，成為最核心的保障任務(wù)。運(yùn)維界大咖給出了以下幾點(diǎn)建議：能否順利扛過(guò)前 15 分鐘，甚至是前幾分鐘，成為最核心的保障任務(wù)。具體給出了以下幾點(diǎn)建議：
雙十一大促是最典型的彈性場(chǎng)景
彈性是云計(jì)算的最大優(yōu)勢(shì)，而大促是最典型的彈性場(chǎng)景。
隨著云計(jì)算特別是公有云的普及，現(xiàn)在的運(yùn)維人員基本上無(wú)需關(guān)注機(jī)房、網(wǎng)絡(luò)、操作系統(tǒng)等底層設(shè)施。在不斷地演練后，如今的電商平臺(tái)早已采用彈性可擴(kuò)展的云計(jì)算平臺(tái)，配合分布式數(shù)據(jù)，高效的 CDN 分發(fā)來(lái)實(shí)現(xiàn)負(fù)載均衡，避免在雙十一凌晨高并發(fā)狀態(tài)下崩盤。運(yùn)維人員將更多精力轉(zhuǎn)移到快速上線，快速迭代，去支持業(yè)務(wù)發(fā)展。
大促活動(dòng)的流量跟日常完全不在一個(gè)量級(jí)，完全可以利用云資源的按需使用，來(lái)達(dá)到擴(kuò)容的需求，而且在成本上是巨大的節(jié)省。除了擴(kuò)容以外，當(dāng)然還需要準(zhǔn)備應(yīng)急預(yù)案，整理出當(dāng)天可能出現(xiàn)的異常情況，提前預(yù)演。
除去上述，所有運(yùn)維團(tuán)隊(duì)還需要提前制定值班計(jì)劃，對(duì)雙十一當(dāng)天可能發(fā)生的各種突發(fā)情況預(yù)案，雙十一各時(shí)段應(yīng)該關(guān)注的關(guān)鍵點(diǎn)進(jìn)行詳盡計(jì)劃?？傊磕觌p十一都是一次檢驗(yàn)，一次大考。細(xì)節(jié)決定成敗，對(duì)全體運(yùn)維人而言，必須所有細(xì)節(jié)都關(guān)注到，演練到，準(zhǔn)備到，才足以從容應(yīng)對(duì)每一年的雙十一大促。
平臺(tái)的選擇至關(guān)重要
選擇一個(gè)好的服務(wù)商對(duì)于電商企業(yè)至關(guān)重要，神州光大是利用共享經(jīng)濟(jì)模式，通過(guò)互聯(lián)網(wǎng)平臺(tái)聚合工程師資源，為客戶提供有質(zhì)量保證的按需使用工程師資源的IT服務(wù)的互聯(lián)網(wǎng)平臺(tái)公司。
諸如雙十一這樣的彈性場(chǎng)景，除了對(duì)設(shè)備、計(jì)算資源等需求會(huì)出現(xiàn)爆發(fā)式增長(zhǎng)，這期間對(duì)工程師需求也會(huì)大大增加，神州光大廣泛的工程師資源，隨時(shí)滿足客戶各種場(chǎng)景下的人員需求，新增設(shè)備的安裝調(diào)試、大促前的巡檢、突發(fā)的緊急故障神行工程師都可以快速響應(yīng)并提供現(xiàn)場(chǎng)服務(wù)。幫企業(yè)順利度過(guò)雙十一。
