EVO-DR災備自動化管理系統
行業背景
銀監會在(zai)《商業(ye)(ye)銀行(xing)(xing)數據中(zhong)心(xin)監管指引》中(zhong)明(ming)確要(yao)求“商業(ye)(ye)銀行(xing)(xing)每(mei)年(nian)至少進行(xing)(xing)一(yi)(yi)次重要(yao)信息系(xi)(xi)統專(zhuan)項災備切換演練，每(mei)三年(nian)至少進行(xing)(xing)一(yi)(yi)次重要(yao)信息系(xi)(xi)統全面(mian)災備切換演練，以真(zhen)實業(ye)(ye)務接管為目(mu)標(biao)，驗證(zheng)災備系(xi)(xi)統有(you)效(xiao)接管生產系(xi)(xi)統與(yu)安全回切的能力，并且積極建設自(zi)動(dong)化(hua)(hua)運維工具平臺，逐步達到(dao) 75% 的自(zi)動(dong)化(hua)(hua)覆蓋率”。
為(wei)滿足(zu)監管規定和(he)業務連(lian)續(xu)性要求，各商業銀(yin)行計劃在(zai)實(shi)現手工災(zai)備(bei)(bei)切換(huan)(huan)的基礎上，逐步建設災(zai)備(bei)(bei)自 動化運維平臺，實(shi)現災(zai)備(bei)(bei)切換(huan)(huan)的標準(zhun)化、可(ke)控化、自動化和(he)可(ke)視化，降(jiang)低人工操作(zuo)風險，提(ti)(ti)高切換(huan)(huan)效率和(he) 切換(huan)(huan)成功率，實(shi)現災(zai)備(bei)(bei)切換(huan)(huan)的自動、可(ke)控、安全(quan)、高效，全(quan)面提(ti)(ti)升商業銀(yin)行面對突發事件(jian)時的應急處理能力。
如何保障(zhang)業務系(xi)統服務的(de)(de)(de)(de)(de)連續(xu)性，減少(shao)服務中(zhong)斷(duan)帶來的(de)(de)(de)(de)(de)經(jing)濟損失和(he)信譽影響(xiang)，是(shi)銀行管(guan)理(li)層和(he)監(jian)管(guan)部 門共同關心的(de)(de)(de)(de)(de)話題。因此各商業銀行陸續(xu)建(jian)設(she)兩地三中(zhong)心的(de)(de)(de)(de)(de)災(zai)(zai)備(bei)(bei)(bei)(bei)(bei)體系(xi)，以便在生產中(zhong)心出現(xian)故障(zhang)時及時接管(guan)生產業務，減少(shao)業務中(zhong)斷(duan)時間。中(zhong)亦科技 EVO-DR 災(zai)(zai)備(bei)(bei)(bei)(bei)(bei)自動(dong)化管(guan)理(li)平(ping)(ping)臺(tai)基于多年災(zai)(zai)備(bei)(bei)(bei)(bei)(bei)建(jian)設(she)運(yun)維的(de)(de)(de)(de)(de)經(jing)驗基礎(chu)上，結合災(zai)(zai)備(bei)(bei)(bei)(bei)(bei)體系(xi)的(de)(de)(de)(de)(de)監(jian)管(guan)要求(qiu)，實現(xian)災(zai)(zai)備(bei)(bei)(bei)(bei)(bei)演練切換過程的(de)(de)(de)(de)(de)標準化、流程化、可控化、自動(dong)化和(he)可視化， 形成的(de)(de)(de)(de)(de)統一的(de)(de)(de)(de)(de)災(zai)(zai)備(bei)(bei)(bei)(bei)(bei)管(guan)理(li)工(gong)作(zuo)支撐平(ping)(ping)臺(tai)。該平(ping)(ping)臺(tai)可以結合業務視角定期評估(gu)，持續(xu)改進災(zai)(zai)備(bei)(bei)(bei)(bei)(bei)管(guan)理(li)工(gong)作(zuo)，進一 步提升數據(ju)中(zhong)心災(zai)(zai)備(bei)(bei)(bei)(bei)(bei)管(guan)理(li)的(de)(de)(de)(de)(de)整體水平(ping)(ping)，充(chong)分提升 IT 價值和(he)業務連續(xu)性。
用戶痛點
• 災備切(qie)換跨多部門(men)協(xie)作才能完成，過程復(fu)雜周期長(chang) ；
• 切換過程操(cao)作復(fu)雜流程繁多，對人員能力(li)素質依賴度(du)較(jiao)高，誤操(cao)作風險較(jiao)高 ；
• 人工切(qie)換時間(jian)不(bu)可控，難以保證RTO 目標 ；
• 缺乏實時動態全局指揮決策(ce)工具，無法把控(kong)整體切換過程；
• 無法實時展(zhan)現災備切換過程中業務的變化情況。
核心功能
★ 災備切換可視化
向各(ge)層級人員提供切換(huan)(huan)過程及系統運(yun)行情況的分類(lei)展(zhan)示，保障災備系統滿足(zu)管理(li)、協(xie)作、切換(huan)(huan)、運(yun)維等不(bu)同(tong)場景下進(jin)(jin)行跨團隊協(xie)作、信息同(tong)步、進(jin)(jin)度實時(shi)查看、切換(huan)(huan)過程動態實時(shi)展(zhan)現(xian)等要求。
行級領導(dao)示圖：
科技(ji)部領導示圖：
工程師(shi)操作示圖：
★ 災備切換可控化
• 流程(cheng)管理：基于中亦科技自主研發的(de)調度引擎 EVO-Flow，通過可視(shi)化(hua)(hua)拖拉拽方(fang)便實現各種(zhong)災(zai)備演練及災(zai)備切換(huan)流程(cheng)的(de)定(ding)義(yi)和配置(zhi)，支(zhi)持串行(xing)、并行(xing)、分支(zhi)、人工干預以(yi)(yi)及節點跳轉(zhuan)，整個執(zhi)行(xing)過程(cheng)支(zhi)持可 視(shi)化(hua)(hua)動(dong)態展(zhan)示(shi)；對執(zhi)行(xing)過程(cheng)中產(chan)生(sheng)的(de)日志信息進行(xing)動(dong)態顯示(shi)和記錄，以(yi)(yi)便進行(xing)實時跟蹤以(yi)(yi)及事后回(hui)溯分析(xi)。
• 場(chang)(chang)景(jing)(jing)管理(li)：災(zai)(zai)(zai)備(bei)(bei)切(qie)(qie)換(huan)(huan)場(chang)(chang)景(jing)(jing)的全生命(ming)周期管理(li)，實現(xian)災(zai)(zai)(zai)備(bei)(bei)切(qie)(qie)換(huan)(huan)中(zhong)各種(zhong)場(chang)(chang)景(jing)(jing)的定(ding)義、修(xiu)改和維護管理(li)， 一般分為災(zai)(zai)(zai)備(bei)(bei)演練(lian)和災(zai)(zai)(zai)備(bei)(bei)切(qie)(qie)換(huan)(huan)兩種(zhong)場(chang)(chang)景(jing)(jing)類型，進(jin)一步(bu)按(an)照(zhao)業務系統梳理(li)定(ding)義各自的演練(lian)場(chang)(chang)景(jing)(jing)。
• 預案管(guan)理：提(ti)供對災備切換預案分類管(guan)理和協同維護等功能，緊急情況發生可快(kuai)速激活預案并通(tong)知(zhi)預案相關人員，提(ti)升決策效率。
• 演(yan)練管(guan)(guan)理(li)：提供全流程(cheng)的演(yan)練管(guan)(guan)理(li)，包括演(yan)練預案管(guan)(guan)理(li)、演(yan)練計劃管(guan)(guan)理(li)、演(yan)練流程(cheng)管(guan)(guan)理(li)、演(yan)練實(shi)施過程(cheng)管(guan)(guan)理(li)、演(yan)練結果評估(gu)管(guan)(guan)理(li)等。
★ 災備切換自動化
• 切(qie)換(huan)前(qian)檢查：切(qie)換(huan)啟動前(qian)系統(tong)自(zi)動比對(dui)生產與災備環境一致性(xing)，保障切(qie)換(huan)任務順利實施。
• 一致性檢查(cha)：支持定期自動比對(dui)生(sheng)產與災(zai)備(bei)環境同(tong)步(bu)情況，保障災(zai)備(bei)中心系統配置一致性。
• 切(qie)(qie)換自動化：提供災備切(qie)(qie)換過(guo)程(cheng)(cheng)管理(li)，在切(qie)(qie)換前可發(fa)送短信(xin)、郵件等消息通知相關人員，可視(shi)化展 示切(qie)(qie)換流程(cheng)(cheng)進(jin)(jin)度，切(qie)(qie)換過(guo)程(cheng)(cheng)中可按(an)需進(jin)(jin)行人工干(gan)(gan)預(yu)（暫停、終止、繼續、跳轉、人工干(gan)(gan)預(yu)、斷點續做等）， 保障切(qie)(qie)換的順利完成。
• 切(qie)換(huan)報(bao)告自(zi)(zi)動生(sheng)(sheng)成(cheng)：演(yan)練(lian)切(qie)換(huan)或災(zai)(zai)難切(qie)換(huan)完成(cheng)，自(zi)(zi)動生(sheng)(sheng)成(cheng)災(zai)(zai)備(bei)切(qie)換(huan)報(bao)告，記(ji)錄事件發(fa)生(sheng)(sheng)及切(qie)換(huan)全過程，可將報(bao)告在線編輯并下(xia)載。
產品優勢
★大屏展現：切換過程動(dong)態大屏展現，為決策(ce)層(ceng)、指揮層(ceng)、操作層(ceng)提供全方位動(dong)態視圖展現，主要包括切換過程以及(ji)相關業務指標的動(dong)態展現。
★內置(zhi)大量(liang)最(zui)佳(jia)實(shi)踐(jian)：基(ji)于中亦科(ke)技多年大型數(shu)據(ju)中心運維經驗，平臺內置(zhi)大量(liang)運維最(zui)佳(jia)實(shi)踐(jian)，腳本3000+、組件(jian)1000+，涉及主流的操作系(xi)統(tong)、數(shu)據(ju)庫、中間件(jian)、網(wang)絡、負(fu)載均(jun)衡(heng)等。
★預(yu)案管理：應(ying)急預(yu)案和切換(huan)(huan)預(yu)案定(ding)制，實現(xian)切換(huan)(huan)決策有據可依、指揮(hui)快(kuai)捷高(gao)效(xiao)、操作自(zi)動安全(quan)可
靠。
★自動生(sheng)成(cheng)報告：容災切(qie)換(huan)演(yan)(yan)練、真實(shi)切(qie)換(huan)報告自動生(sheng)成(cheng)，可根據報告及演(yan)(yan)練評估結果進(jin)行有針對性的改進(jin)。
客戶收益
★提高靈活性：加快(kuai)業務對異常情況的響應速度，快(kuai)速調整，快(kuai)速應對，提升(sheng)應變能力；
★降低風險：符合(he)監管規(gui)定，降低人為操作風險 ；
★提升(sheng)效率：提升(sheng)切換效率，降(jiang)低人(ren)員協調溝通(tong)成(cheng)本(ben) ；
★控(kong)制(zhi)成(cheng)本：降低人工依(yi)賴(lai)，控(kong)制(zhi)運營成(cheng)本，優化人力資源和系統結(jie)構 ；
★切換專業化(hua)：實現災備切換過(guo)程的標(biao)準(zhun)化(hua)、自動化(hua)、可控化(hua)和可視(shi)化(hua)。
案例分享
★ 項目背景
某商業銀行已完(wan)成兩(liang)地三中心(xin)災備體系建設，核心(xin)業務系統 100 多(duo)(duo)套(tao)，涉(she)及主機(ji)、網(wang)絡(luo)、存儲 2000 多(duo)(duo)臺，每年(nian)進行兩(liang)次(ci)切(qie)換演(yan)練，但是由于基礎架構復雜涉(she)及技術產品繁多(duo)(duo)，傳(chuan)統的(de)切(qie)換方式以人工方式為主， 導致每次(ci)切(qie)換參與(yu)人數眾多(duo)(duo)、各種狀(zhuang)況頻發、難以實(shi)現預期(qi)的(de) RTO 目(mu)標，效(xiao)率低下過程(cheng)復雜結果不可(ke)控。
★ 項目目標
• 實現災備(bei)(bei)切(qie)換(huan)預案中技(ji)術切(qie)換(huan)、回切(qie)部(bu)分的標準化(hua)(hua)、流程化(hua)(hua)和自動化(hua)(hua)，包(bao)括(kuo)(kuo)系(xi)統、網(wang)絡設(she)(she)備(bei)(bei)及應(ying)用切(qie)換(huan)，切(qie)換(huan)系(xi)統包(bao)括(kuo)(kuo) AIX、Linux、windows 平臺、DB2、Oracle、各種(zhong)中間件、各類(lei)網(wang)絡設(she)(she)備(bei)(bei)、安全設(she)(she)備(bei)(bei)和負載均衡；同時滿足切(qie)換(huan)步(bu)驟(zou)轉(zhuan)人工(gong)(gong)處理（包(bao)括(kuo)(kuo)步(bu)驟(zou)報錯(cuo)轉(zhuan)人工(gong)(gong)、直接轉(zhuan)人工(gong)(gong)等場景）；
• 完成 ECC 大(da)屏(ping)展示(shi)內(nei)容的設計、實施(shi)工作，實現災備(bei)系(xi)統(tong)切換(huan)過(guo)程(cheng)中的 ECC 大(da)屏(ping)全屏(ping)展現，直觀顯示(shi)切換(huan)進(jin)度、各系(xi)統(tong)狀(zhuang)(zhuang)態(tai)及(ji)其他相關信息(xi)，包括但不(bu)限于切換(huan)過(guo)程(cheng)的狀(zhuang)(zhuang)態(tai)變化(hua)、關鍵業務指標、性(xing)能指標、針對不(bu)同角色展現不(bu)同的示(shi)圖(tu)內(nei)容等；
• 實現核心(xin)業務系統(tong)的災(zai)備自動化(hua)切換，切換過程動態(tai)展(zhan)現；
• 實現(xian)災難切(qie)換預案管理和災難切(qie)換報(bao)告(gao)的自(zi)動生成(cheng)及導出；
• 實現(xian)切換流程的可視(shi)化(hua)拖拉拽定義，支持串(chuan)行、并(bing)行、分支、跳轉、斷點續做和人工干預(yu)等；
• 實(shi)現多切換(huan)場景(jing)的(de)流程配置；
• 實現生產與(yu)災(zai)備配置(zhi)的一致(zhi)性檢查并能(neng)夠自動同步。
★ 項目難點
• 災(zai)備切換預案不(bu)完整，切換流程(cheng)、步(bu)驟、命令沒有及時更新，無法(fa)直接使用(yong)；
• 客戶技術人員配合不到位(wei)，嚴(yan)重影響(xiang)項目進度；
• 缺乏必要的測試環境，無法提前進行有效(xiao)的技術(shu)驗(yan)證；
• 生產和(he)災備環境不一致，影響(xiang)實際切換無法順(shun)利(li)進行。
★ 實施過程
↓ 安排運維(wei)經驗豐富的(de)實(shi)施工程師，詳細梳(shu)理每套業(ye)務(wu)系統(tong)的(de)切換流程、步驟、命令和(he)腳(jiao)本，形成完善的(de)切換操作手(shou)冊，提交客戶審(shen)批確(que)認；
↓ 跟客戶(hu)技術人員梳理完善災(zai)備切換場景預案；
↓ 搭建必要(yao)的測(ce)(ce)試環境(jing)，對(dui)于(yu)核心(xin)(xin)步(bu)驟和腳本進行充分測(ce)(ce)試，對(dui)于(yu)核心(xin)(xin)系統進行主備切換測(ce)(ce)試；
↓ 部(bu)署災備自動化平(ping)臺(tai)，按照梳(shu)理好的切換(huan)步驟和(he)災備預案(an)，定義每套業務系統的切換(huan)流程和(he)切換(huan)場景；
↓ 實現每年兩(liang)次的自動化切換。
★ 客戶收益
★切換流程(cheng)依賴關(guan)系固化在平(ping)臺中， 一鍵式自動化執行；
★自動化和管理流程結合；
★統一的災備切換管(guan)理指揮(hui)平臺；
★災備(bei)切換過程(cheng)動態可視化展現；
★簡化操作過程，降低人員依(yi)賴度和人工操作失誤的概(gai)率(lv)；
★提升工作效(xiao)率，整體切換(huan)時間(jian)可以縮短50%-70%。
