2021年7月13日，bilibili 出現(xiàn)了一次服務(wù)不可用的宕機(jī)事故。一年以后，bilibili 技術(shù)團(tuán)隊(duì)以一篇事故復(fù)盤的文章刷爆了技術(shù)人的朋友圈，這一次典型的技術(shù)事故，卻成了一個(gè)非典型的技術(shù)故事。

　　類似的黑天鵝事件時(shí)有發(fā)生，有的或出于單體應(yīng)用的代碼規(guī)范問題，有的或出于瞬時(shí)流量的峰值涌入，有的或因?yàn)樵茝S商的服務(wù)抖動(dòng)受到牽連�？梢哉f(shuō)，后端研發(fā)人員的成長(zhǎng)之旅，往往伴隨著對(duì)黑天鵝事件的防范、處理、教訓(xùn)，互聯(lián)網(wǎng)服務(wù)這么多年發(fā)展至今，高可用能力到了什么程度，是否能幫助企業(yè)規(guī)避黑天鵝事件的發(fā)生?上云是否是這個(gè)時(shí)代保證服務(wù)穩(wěn)定性的有效途徑?企業(yè)技術(shù)管理者又該如何居安思危，調(diào)整技術(shù)架構(gòu)?

　　9月25日，騰訊云 TVP 走進(jìn) B 站，暢聊「高可用 VS 黑天鵝」的那些事兒，相信能給你一些不一樣的啟發(fā)。本文為本次活動(dòng)精華總結(jié)。

　　bilibili云原生架構(gòu)演進(jìn)

　　bilibili 技術(shù)委員會(huì)主席、騰訊云 TVP 毛劍帶來(lái)了題為《bilibili 云原生架構(gòu)演進(jìn)》的主題分享。

　　毛劍老師介紹道，bilibili 的云原生演進(jìn)大體上始于2015年，主要?dú)v程涵蓋了微服務(wù)、容器化和中間件三個(gè)關(guān)鍵環(huán)節(jié)：

　　微服務(wù)：伴隨著業(yè)務(wù)的發(fā)展、DAU 的爆發(fā)，2015年開始從單體轉(zhuǎn)向微服務(wù)，面對(duì)單體架構(gòu)無(wú)法擴(kuò)展、可靠性低的問題，應(yīng)對(duì)的思路概括為“化繁為簡(jiǎn)，分而治之。

　　容器化：15年最初部署在裸金屬上;16年開始使用 Mesos+Marathon 進(jìn)行容器編排，17年遷移到 Kubernetes，之后很快在線應(yīng)用彈性公有云上線。20年離線 Yarn 和 在線 K8S 做了在離線混部(錯(cuò)峰使用)，基于混部 Agent，協(xié)調(diào)分配資源。22年離線 Flink、Spark Native on K8S，開始逐漸嘗試覆蓋，統(tǒng)一調(diào)度架構(gòu)，完成統(tǒng)一調(diào)度。

　　中間件：容器+微服務(wù)的組合帶來(lái)的應(yīng)用爆發(fā)式增長(zhǎng)給架構(gòu)帶來(lái)了巨大挑戰(zhàn)，為此引入了開源社區(qū)的組件，在性能、穩(wěn)定性能達(dá)到要求的情況下，盡可能使用開源方案，少量組件需要二次開發(fā)和迭代。

　　從架構(gòu)設(shè)計(jì)的層面上看，從CDN到接入層再到服務(wù)/中間件/存儲(chǔ)、可觀測(cè)、效率體系、穩(wěn)定體系，每個(gè)環(huán)節(jié)都有穩(wěn)定性、可用性的保障，每一層都有不同技術(shù)人員去做維護(hù)和迭代。毛劍老師表示，設(shè)計(jì)很美好，但黑天鵝該來(lái)還得來(lái)。

　　毛劍老師表示，從技術(shù)人員的視角看，可用性保障的核心就是流量能否得到有效管控。無(wú)論是網(wǎng)絡(luò)故障、機(jī)房故障、組件故障還是服務(wù)故障，每一層都應(yīng)該設(shè)計(jì)備有相應(yīng)的容錯(cuò)機(jī)制，以避免事故發(fā)生或在事故發(fā)生時(shí)能快速定位、及時(shí)修補(bǔ)。

　　在 bilibili 2021年發(fā)生的7.13事故中，引發(fā)的原因就是接入層SLB不可用了。毛劍老師詳細(xì)分享了本次事故所暴露出的基礎(chǔ)技術(shù)建設(shè)方面的問題，諸如：

　　用戶鏈路和辦公網(wǎng)鏈路未徹底隔離

　　多活未按預(yù)期立即生效，不支持寫

　　人力不足，故障止損和排查無(wú)法并行

　　組件故障預(yù)案不完善，處理耗時(shí)久

　　復(fù)雜事故影響面極大，定位成本高

　　……

　　毛劍老師表示，多活是機(jī)房級(jí)故障時(shí)容災(zāi)止損最快的方案。在這樣的背景下，bilibili 做了多活基架能力建設(shè)、多活管控能力提升的針對(duì)性改進(jìn)。在 bilibili 技術(shù)委員會(huì)成立后，選擇了擁抱云原生，以強(qiáng)調(diào)工程一致性的方式做云原生的落地建設(shè)。

　　另一方面，針對(duì)容災(zāi)、快速切換的高可用能力方面，設(shè)計(jì)了同城雙活的架構(gòu)，具體如下圖所示。

　　隨著業(yè)務(wù)的快速演進(jìn)，bilibili 開始從 Global Zone(單點(diǎn)全局業(yè)務(wù))演進(jìn)到同城雙活、異地 AZ 的建設(shè)，逐漸也過(guò)度到異地多活。毛劍老師表示，實(shí)現(xiàn)單元化用戶流量的混合云架構(gòu)是 bilibili 一直在追求做的事情，包括在急需擴(kuò)容的情況下，可依托于云廠商的云原生技術(shù)基礎(chǔ)能力，在云上新建一個(gè) RZone/CZone Shard，遷移部分用戶 bucket 流量，發(fā)揮云的彈性優(yōu)勢(shì)，實(shí)現(xiàn)共贏。

　　分享最后，毛劍老師也基于 bilibili 的業(yè)務(wù)場(chǎng)景，解釋了 bilibili 為何要在私有云架構(gòu)之上再上公有云的實(shí)際思考。

　　大變革時(shí)代研發(fā)團(tuán)隊(duì)的重塑

　　有贊技術(shù)副總裁、顧問，騰訊云 TVP 沈淦帶來(lái)了題為《大變革時(shí)代研發(fā)團(tuán)隊(duì)的重塑》的主題分享。

　　分享伊始，沈淦老師為大家介紹了大變革的時(shí)代背景下，舊經(jīng)濟(jì)模式與新經(jīng)濟(jì)模式的變化。當(dāng)前的企業(yè)從以前的“活得好”到現(xiàn)在開始思考如何“活下去”，這背后折射的是經(jīng)濟(jì)底層范式的重置：從絕對(duì)經(jīng)濟(jì)優(yōu)先轉(zhuǎn)變?yōu)榭沙掷m(xù)、社會(huì)公平、數(shù)據(jù)安全、自主可控的新經(jīng)濟(jì)模式。在內(nèi)卷的舊經(jīng)濟(jì)時(shí)代，技術(shù)管理的核心價(jià)值，是打造技術(shù)團(tuán)隊(duì)超(無(wú)限)高的交付效率。

　　從舊經(jīng)濟(jì)到新經(jīng)濟(jì)的轉(zhuǎn)變過(guò)程中，技術(shù)團(tuán)隊(duì)的使命和價(jià)值也發(fā)生了相應(yīng)的變化。從行為到職責(zé)，需要改變的地方有很多。如下圖所示，當(dāng)前大部分的技術(shù)團(tuán)隊(duì)仍舊處于圖中的第二階段，效率和成本仍是核心價(jià)值，但新經(jīng)濟(jì)要求的的速度和適應(yīng)性的價(jià)值已經(jīng)更為突出。

　　沈淦老師以 SaaS 行業(yè)為例，介紹了價(jià)值驅(qū)動(dòng)業(yè)務(wù)模式的三條主線：其一是高技術(shù)密度的產(chǎn)品力;其二是商業(yè)化能力;其三是從客戶之聲到 CSGB 的客戶成功。這三條線大多數(shù)業(yè)務(wù)團(tuán)隊(duì)都有在做，但大部分彼此之間都比較孤立，沒有形成有機(jī)結(jié)合，效果不佳。

　　另一方面，對(duì)于考核體系的理解也有待革新。過(guò)去的考核體系主要關(guān)注點(diǎn)落在“做了什么”的動(dòng)作上，聚焦功能、非功能需求的實(shí)現(xiàn)。當(dāng)前階段開始由做了什么到做成了什么轉(zhuǎn)變，關(guān)注GMV增長(zhǎng)、PV/UV、穩(wěn)定性等等。而對(duì)技術(shù)人員而言，終極的目標(biāo)應(yīng)該是價(jià)值的實(shí)現(xiàn)——達(dá)成了什么?是爆款?是增購(gòu)?還是客戶的推薦?

　　沈淦老師將以上所體現(xiàn)的理念總結(jié)為了“找價(jià)值、設(shè)指標(biāo)、拆流程、建團(tuán)隊(duì)”的端到端流程四步法。這四個(gè)步驟拆開來(lái)看，單個(gè)環(huán)節(jié)可能每個(gè)技術(shù)團(tuán)隊(duì)都有涉及到，但只有按照一定的順序、有機(jī)結(jié)合地去做，才能產(chǎn)生更大的業(yè)務(wù)價(jià)值。

　　“流程四步法中最難的也許是建團(tuán)隊(duì)”，從組織結(jié)構(gòu)上去撬動(dòng)杠桿往往是最難的地方，因?yàn)檫@背后涉及到人與人之間的連接。沈淦老師舉例指出，建團(tuán)隊(duì)有三個(gè)基本理論需要關(guān)注，其一是康威定律，其二是認(rèn)知負(fù)荷，其三是隧道視野。技術(shù)團(tuán)隊(duì)的管理者應(yīng)該從大處著眼，小處著手，由點(diǎn)及面地完成高效能團(tuán)隊(duì)的構(gòu)建工作。

　　騰訊自研業(yè)務(wù)上云背后的高可用實(shí)踐

　　騰訊云云原生產(chǎn)品中心技術(shù)總監(jiān)王濤帶來(lái)了題為《騰訊自研業(yè)務(wù)上云背后的高可用實(shí)踐》的主題分享。

　　王濤老師首先簡(jiǎn)要分享了騰訊自研業(yè)務(wù)容器化上云的歷程。技術(shù)路線上，從胖容器到富容器再到微容器，演化到 Serverless、FaaS 的形態(tài)，同時(shí)持續(xù)著在離線混部、在線混部的實(shí)踐，包括 Service Mesh 也都有持續(xù)的應(yīng)用。

　　王濤老師介紹到，經(jīng)過(guò)3-4年的大規(guī)模自研業(yè)務(wù)云原生實(shí)踐，騰訊在各個(gè)技術(shù)方向和業(yè)務(wù)場(chǎng)景都沉淀了大量的解決方案。與此同時(shí)持續(xù)反哺給公有云產(chǎn)品，提升各種業(yè)務(wù)場(chǎng)景下的核心技術(shù)競(jìng)爭(zhēng)力。

　　在這樣的背景下，騰訊的云原生成熟度模型演進(jìn)到 V2.0 版本，從平臺(tái)和業(yè)務(wù)兩個(gè)維度，考察云原生的能力。在這樣的模型考量下，騰訊自研業(yè)務(wù)上云的規(guī)模及成熟度也保持了一個(gè)持續(xù)上揚(yáng)的趨勢(shì)，業(yè)務(wù)和平臺(tái)的云原生成熟度都得到了持續(xù)提升，價(jià)值得以量化。

　　王濤老師分析到，容器平臺(tái)穩(wěn)定性主要涵蓋平臺(tái)層穩(wěn)定、集群層穩(wěn)定、節(jié)點(diǎn)層穩(wěn)定、業(yè)務(wù)層穩(wěn)定幾個(gè)方面。他重點(diǎn)分享了節(jié)點(diǎn)穩(wěn)定性和業(yè)務(wù)穩(wěn)定性的case，持續(xù)深耕云原生OS，提供更好的容器隔離性能力和可觀測(cè)性，與此同時(shí)騰訊也在逐步大規(guī)模使用 Serverless K8s(EKS)的產(chǎn)品能力，徹底解決容器隔離性問題，并實(shí)現(xiàn)了統(tǒng)一大資源池的調(diào)度能力。

　　在業(yè)務(wù)容災(zāi)的成本方面，過(guò)去面向集群業(yè)務(wù)管理效率低、容災(zāi)部署成本高，改造的目標(biāo)是快速實(shí)現(xiàn)業(yè)務(wù)的多地域多活部署、一鍵發(fā)起應(yīng)用的全球灰度變更，業(yè)務(wù)灰度期間只需偶爾關(guān)注應(yīng)用大盤視圖即可掌控整體灰度情況，極大的提升了應(yīng)用管理效率，這對(duì)大規(guī)模的應(yīng)用管理極其重要。

　　王濤老師表示，這背后涉及到的關(guān)鍵技術(shù)有很多，比如騰訊開源的多集群管理項(xiàng)目Clusternet、多集群的應(yīng)用聲明、面向應(yīng)用的多集群協(xié)同彈性伸縮能力和動(dòng)態(tài)拆分調(diào)度能力等，最終以面向應(yīng)用的”屏蔽集群、模糊可用區(qū)“等產(chǎn)品能力，幫助業(yè)務(wù)快速實(shí)現(xiàn)同城多活、兩地三中心等容災(zāi)部署能力。全球多地域一次性高可用部署以及豐富的多集群業(yè)務(wù)灰度變更策略等，幫助業(yè)務(wù)提升容災(zāi)部署/變更的效率以及可用性。

　　在服務(wù)路由的高可用方面，通過(guò)騰訊內(nèi)部自研的服務(wù)東西向流量管理“北極星Polaris”，提供解決包括遠(yuǎn)程過(guò)程調(diào)用(RPC)的服務(wù)注冊(cè)與發(fā)現(xiàn)、動(dòng)態(tài)路由、負(fù)載均衡、服務(wù)熔斷等一系列的超大規(guī)模和高性能的服務(wù)路由管理能力。輔以Kubernetes Controller的方式對(duì)接北極星，進(jìn)一步提升了Pod狀態(tài)和服務(wù)實(shí)例可用性的聯(lián)動(dòng)實(shí)時(shí)性，加快了實(shí)例故障自動(dòng)剔除等關(guān)鍵動(dòng)作。

　　在混沌工程方面，騰訊云所有云產(chǎn)品都必須參與日�；煦缪菥�，提前發(fā)現(xiàn)產(chǎn)品隱患，提升云產(chǎn)品的可用性。由此也孵化出了公有云混沌演練平臺(tái)，日常通過(guò)高可用攻擊演練的方式，鍛煉運(yùn)營(yíng)質(zhì)量與架構(gòu)的高可用改造，在故障真實(shí)發(fā)生時(shí)從容應(yīng)對(duì)。

　　云上高可用能力建設(shè)

　　騰訊云高可用專家服務(wù)負(fù)責(zé)人廖行星帶來(lái)了題為《云上高可用能力建設(shè)》的主題演講。

　　分享伊始，廖行星老師從黑天鵝和高可用的關(guān)系上做了一個(gè)論斷——黑天鵝是一個(gè)現(xiàn)象，是一個(gè)結(jié)果，但高可用/異構(gòu)系統(tǒng)，以及技術(shù)側(cè)的能力，是對(duì)應(yīng)的治理手段和方法，我們是期望通過(guò)這樣的方法來(lái)降低，或者說(shuō)控制黑天鵝事件對(duì)業(yè)務(wù)的影響時(shí)長(zhǎng)和范圍。

　　對(duì)于高可用能力的度量指標(biāo)，廖行星老師總結(jié)了以下幾個(gè)關(guān)鍵：RTO 恢復(fù)時(shí)間目標(biāo);RPO 恢復(fù)點(diǎn)目標(biāo);WRT 工作恢復(fù)時(shí)間;MTD 最大可容忍停機(jī)時(shí)間。高可用能力的價(jià)值體現(xiàn)，如下圖所示：

　　廖行星老師表示，異地多活的能力是服務(wù)高可用的關(guān)鍵，在技術(shù)目標(biāo)上主要可以分為以下幾個(gè)維度。

　　DNS 調(diào)度。常見影響 DNS 調(diào)度的因素有 locallands 多出口、locallands 不支持 ECS、NS 不支持 ECS、NS 的 IP 庫(kù)不準(zhǔn)確等，由此帶來(lái)的技術(shù)目標(biāo)是需要能夠保證大部分流量調(diào)度的準(zhǔn)確性。

　　路由層流量糾偏。利用openresty流量糾編實(shí)現(xiàn)，確保流量精確流入某一region。

　　邏輯層單元化建設(shè)。徹底單元化，確保region間無(wú)數(shù)據(jù)流動(dòng)。

　　數(shù)據(jù)層數(shù)據(jù)同步。數(shù)據(jù)回環(huán)，一致性，數(shù)據(jù)沖突。

　　在災(zāi)難切換方面，重點(diǎn)步驟可以總結(jié)為以下幾點(diǎn)：

　　1.多活規(guī)則中心下發(fā)禁寫通知和禁寫時(shí)間基線

　　2.數(shù)據(jù)庫(kù)SDK收到禁寫數(shù)據(jù)庫(kù)寫入和更新

　　3.雙向復(fù)制器收到超過(guò)禁寫時(shí)間基線不再?gòu)?fù)制

　　4.雙向復(fù)制器上報(bào)復(fù)制完成狀態(tài)

　　5.多活規(guī)則中心下發(fā)流量切換通知

　　6.Nginx&網(wǎng)關(guān)層收到將流量切換到機(jī)房B并上報(bào)切換完成狀態(tài)

　　7.多活規(guī)則中心下發(fā)取消禁寫通知

　　廖行星老師介紹道，騰訊云在高可用能力建設(shè)方面做了很多技術(shù)上的實(shí)現(xiàn)工作，在路由層面上，API網(wǎng)關(guān)+SCF可以實(shí)現(xiàn)復(fù)雜的流量染色場(chǎng)景;在接入層方面，CLB 具備就近接入、VIP 漂移的高可用能力;在邏輯層方面，騰訊云微服務(wù)平臺(tái) Tencent Service Framework(TSF)提供微服務(wù)全生命周期管理、服務(wù)可觀測(cè)、配置管理、服務(wù)治理及業(yè)務(wù)容災(zāi)架構(gòu)能力;在數(shù)據(jù)層方面，CDB&DTS 能夠有效實(shí)現(xiàn)數(shù)據(jù)的一致性、數(shù)據(jù)回環(huán)等。

　　觀點(diǎn)眾議

　　精彩的分享結(jié)束后，TVP 們還在線下展開了一場(chǎng)別開生面的小組討論會(huì)，在場(chǎng)嘉賓分為三組針對(duì)三個(gè)高可用話題展開了討論，并派出了三位小組代表(劉意、毛劍、大漠窮秋)做要點(diǎn)總結(jié)。

　　對(duì)于體量較小的企業(yè)而言，是否有必要提前搭建高可用的容災(zāi)體系？

　　劉意：我們這桌正好有創(chuàng)業(yè)者，他們公司跟 bilibili 有點(diǎn)類似，都是重 IT 的客戶。對(duì)于類似的小體量企業(yè)，不具備 bilibili 的業(yè)務(wù)體量時(shí)，是不需要重度發(fā)展高可用容災(zāi)體系的，更多可以用多云多活的架構(gòu)來(lái)部署自己的業(yè)務(wù)系統(tǒng)。這樣做的好處是可以確保自己的業(yè)務(wù)在 A 云中發(fā)生故障時(shí)可以平滑地遷移到 B 云，平時(shí)也可以通過(guò)演練確保切換動(dòng)作的絲滑流暢。還有一個(gè)好處就是可以利用兩方云平臺(tái)的成本體系去平衡成本，實(shí)現(xiàn)降本增效。

　　毛劍：對(duì)于小體量企業(yè)而言，PaaS 平臺(tái)的搭建的確很花精力。很多人以為用了云就具備了高可用能力，其實(shí)不然，小企業(yè)仍舊需要懂 SRE 去主動(dòng)培養(yǎng)高可用的意識(shí)。服務(wù)穩(wěn)定性的影響因素有很多，僅僅是研發(fā)人員寫的一個(gè) bug，同樣會(huì)對(duì)其造成不可估量的影響。這背后需要一系列的手段去做避免，本質(zhì)上是一個(gè)系統(tǒng)工程。小企業(yè)可以不建平臺(tái)，可以只用云的能力，但一定要具備 SRE 的意識(shí)。

　　大漠窮秋：我職業(yè)生涯里經(jīng)歷過(guò)兩次自己搞出來(lái)的故障，影響都比較大，一次是在某電力系統(tǒng)公司搞掛了監(jiān)控系統(tǒng)的庫(kù)，另一次是在接手舊系統(tǒng)的維護(hù)升級(jí)工作時(shí)優(yōu)化了代碼格式刪除了多余空行導(dǎo)致系統(tǒng)故障，這兩次都是在相對(duì)互聯(lián)網(wǎng)而言較小的企業(yè)里。對(duì)于小企業(yè)而言，體量只是其中的一個(gè)因素，另外還需要去考量企業(yè)是否會(huì)在某個(gè)階段突然獲得爆發(fā)式的增長(zhǎng)，比如最近很火爆的一些現(xiàn)象級(jí)的小游戲，判斷增長(zhǎng)的空間才有足夠合理的提前搭建高可用容災(zāi)體系的必要。

　　目前眾多的冷備、熱備、雙活、多活、同城、異地、多云等災(zāi)備方案中，如何更好的選擇貼合自身要求的高可用和容災(zāi)架構(gòu)方案？

　　劉意：多云多活的方案中，bilibili 和喜馬拉雅都選擇了混合云的模式。大部分企業(yè)并不常遇到數(shù)據(jù)庫(kù)爆炸一樣的極端情況，也不像銀行業(yè)一定要異地多活高規(guī)格的容災(zāi)體系，一般而言雙活就能起到高可用的作用足夠滿足需求了。相比其他而言，提高 IT 團(tuán)隊(duì)的管控能力可能更為重要。此外，要讓業(yè)務(wù)在自建 IDC 和上云之間做好選擇，哪些核心系統(tǒng)上云，哪些不用，充分利用自建 IDC 數(shù)據(jù)的可靠性，確保業(yè)務(wù)跑得更快、更好。

　　毛劍：很多人對(duì)系統(tǒng)的多活容災(zāi)有誤解，多活在技術(shù)上對(duì)時(shí)間、精力的消耗很大，但幾乎沒有產(chǎn)生附加價(jià)值，所以技術(shù)團(tuán)隊(duì)在做多活方案之前一定要考慮到業(yè)務(wù)的 ROI。類似交易型電商、金融行業(yè)，對(duì)異地多活的需求會(huì)比較高，但大部分業(yè)務(wù)做到同城雙活就足夠了。建設(shè)多活的核心其實(shí)就是兩點(diǎn)，第一是思考出現(xiàn)停機(jī)問題時(shí)，業(yè)務(wù)損失和投入建設(shè)的資源之間比例是否劃算;第二，因?yàn)橐粋�(gè)機(jī)房放不下，花錢買資源的同時(shí)實(shí)現(xiàn)多活能力。

　　大漠窮秋：并不是所有的事故都需要做容災(zāi)，技術(shù)人員還是要去提前評(píng)估好業(yè)務(wù)和事故之間可能存在的聯(lián)系。有些東西掛了就掛了，重啟就能解決，未必一定要用容災(zāi)的方式去做建設(shè)。這背后一個(gè)是技術(shù)體系與人員操作規(guī)范的問題，兩者都是重要的影響因素。另一個(gè)問題就是性價(jià)比的問題，對(duì)很多中小團(tuán)隊(duì)來(lái)說(shuō)，建容災(zāi)冗余的投入遠(yuǎn)大于事故發(fā)生時(shí)的損失，成本對(duì)于中小企業(yè)而言就是最敏感的影響因素。

　　在「黑天鵝」事件發(fā)生，導(dǎo)致業(yè)務(wù)癱瘓時(shí)，作為企業(yè)領(lǐng)導(dǎo)者，如何進(jìn)行應(yīng)急處理？

　　劉意：類似刪庫(kù)的黑天鵝事件發(fā)生時(shí)，作為云廠商而言應(yīng)該在力所能及的范圍內(nèi)去幫助客戶恢復(fù)業(yè)務(wù)系統(tǒng)和關(guān)鍵數(shù)據(jù)，這是云廠商應(yīng)盡的義務(wù)。從企業(yè)領(lǐng)導(dǎo)者的角度看，首先應(yīng)該在構(gòu)建系統(tǒng)的時(shí)候就充分做好業(yè)務(wù)的保障，然后充分利用內(nèi)部的技術(shù)資源、外部云廠商的資源能力，去盡可能地挽救業(yè)務(wù)損失。

　　毛劍：作為企業(yè)領(lǐng)導(dǎo)者不要局限在技術(shù)側(cè)的處理，更要從全局上看問題。其中從事件本身的公關(guān)角度來(lái)說(shuō)，可以這樣分：第一，統(tǒng)一口徑回復(fù)給來(lái)自 C 端客戶的客訴;第二，同步 PR 部門的同事，在媒體層面上去做危機(jī)公關(guān);第三，通過(guò) GR 等政府關(guān)系部門去向上報(bào)備同步。

　　技術(shù)側(cè)處理時(shí)，首先不要慌，把相關(guān)人員組織好，統(tǒng)一事故協(xié)調(diào)和回復(fù)的對(duì)接人;第二，盡快通知其他部門事故的發(fā)生，在日常工作中也要多做事故演練;第三，做好事故的復(fù)盤，對(duì)事不對(duì)人，規(guī)范化流程和人的問題�；�于這些想法理念可以建設(shè)一個(gè)平臺(tái)，我們目前建的平臺(tái)叫事件中心，保留事件發(fā)生前做了什么，事中做了什么，事后的復(fù)盤等等。

　　結(jié)語(yǔ)

　　線上服務(wù)的穩(wěn)定性對(duì)企業(yè)而言至關(guān)重要，穩(wěn)定性差的服務(wù)在帶給用戶不佳體驗(yàn)的同時(shí)，甚至可能給企業(yè)造成直接的經(jīng)濟(jì)損失。而影響線上服務(wù)穩(wěn)定性的因素又有很多，無(wú)論是業(yè)務(wù)研發(fā)人員還是云平臺(tái)的技術(shù)人員，都在不斷地持續(xù)求索那提升高可用能力的可能，不斷地逼近『4個(gè)9』、『5個(gè)』的可用性極限。

　　TVP 從成立之初，所追求的用科技影響世界，讓技術(shù)普惠大家，也跟這樣追求極致的技術(shù)精神所一脈相承、互相輝映。TVP 們走進(jìn)的是 B 站，走出來(lái)的卻是更多高可用技術(shù)背后的思考與實(shí)踐。