银行广告大片：颠覆你对银行的认知

diliandezuyuefeiyong，gaojingdekechengdaoxue，manzubutongrenyuanyinreneryidexuexichengchangzhilv！fangkuaipintushouyouanzhuoxiazaiyonggandeshaonvmenchuanshangbinglengdejijia，naqichenzhongdewuqi，yubenghuaizhandouzhe。xianshangsiliao，nenggouyutongshixianshangsiliaofasongxiaoxi，zhichifasongduozhonggeshidexiaoxi，liyugoutong；womenhuapp首(shou)屆(jie)《雲(yun)系(xi)統(tong)穩(wen)定(ding)安(an)全(quan)運(yun)行(xing)優(you)秀(xiu)案(an)例(li)》評(ping)比(bi)，華(hua)為(wei)云斬(zhan)獲(huo)多(duo)項(xiang)榮(rong)譽(yu)

中(zhong)國(guo)信(xin)通(tong)院(yuan)於(yu)2022年(nian)11月(yue)啟(qi)動(dong)“首届云系统稳定安全运行优秀案例征(zheng)集(ji)”活(huo)动，以(yi)期(qi)激(ji)發(fa)云系统稳定性(xing)領(ling)域(yu)磅(bang)礴(bo)的(de)創(chuang)新(xin)力(li)量(liang)，为數(shu)字(zi)化(hua)轉(zhuan)型(xing)稳步(bu)推(tui)進(jin)奠(dian)定基(ji)礎(chu)。近(jin)日(ri)，信通院首届“云系统稳定安全运行优秀案例”评選(xuan)結(jie)果(guo)揭(jie)曉(xiao)，华为云斩获多项案例荣誉，包(bao)括(kuo)获得(de)混(hun)沌(dun)工(gong)程(cheng)實(shi)驗(yan)室(shi)頒(ban)发的2022年度(du)傑(jie)出(chu)貢(gong)獻(xian)成(cheng)員(yuan)單(dan)位(wei)，华为云SRE確(que)定性运維(wei)能(neng)力體(ti)系、华为云混沌工程提(ti)升(sheng)云服(fu)務(wu)韌(ren)性实踐(jian)、华为多活可(ke)用(yong)MAS解(jie)決(jue)方(fang)案荣获优秀实践案例，为数字化转型中的企(qi)業(ye)開(kai)展(zhan)稳定可靠(kao)、安全可信、可持(chi)續(xu)发展的云服务提供(gong)最(zui)佳(jia)实践參(can)考(kao)。

确定性运维支(zhi)撐(cheng)华为云业务快(kuai)速(su)增(zeng)長(chang)

在(zai)业务量和(he)云上(shang)客(ke)戶(hu)业务類(lei)型飛(fei)速发展下(xia)，业务稳定性挑(tiao)戰(zhan)越(yue)來(lai)越大(da)。为了(le)應(ying)對(dui)挑战，华为云SRE經(jing)過(guo)多年实践，總(zong)结出壹(yi)套(tao)“确定性运维”体系，有(you)效(xiao)支撑了华为云业务快速增长。

确定性运维作(zuo)为华为云运维質(zhi)量的指(zhi)導(dao)思(si)想(xiang)，通过全面(mian)的质量管(guan)理(li)，在現(xian)網(wang)实现确定性故(gu)障(zhang)率(lv)、确定性恢(hui)復(fu)時(shi)长和确定性影(ying)響(xiang)範(fan)圍(wei)，华为云SRE作为华为云的质量守(shou)護(hu)者(zhe)，通过面向(xiang)云服务全生(sheng)命(ming)周(zhou)期的质量看(kan)护，实现现网可預(yu)期的高(gao)可用质量结果。

亮(liang)點(dian)一：华为云SRE “确定性运维”助(zhu)力客户提升应用稳定性

确定性运维的理念(nian)是(shi)通过高质量的產(chan)品(pin)开发，嚴(yan)謹(jin)的运维流(liu)程和制(zhi)度来降(jiang)低(di)故障的概(gai)率，通过技(ji)術(shu)手(shou)段(duan)对可能发生的故障，將(jiang)間(jian)隔(ge)、影响范围及(ji)故障恢复时间做(zuo)到(dao)可防(fang)、可控(kong)、可治(zhi)，目(mu)標(biao)是要(yao)把(ba)数字化帶(dai)来的“不(bu)确定性”通过运维變(bian)成“确定性”。

华为云SRE構(gou)建(jian)确定性运维能力，将“高可用架(jia)构”、“动態(tai)清(qing)零(ling)風(feng)控”、“高度智(zhi)能运维框(kuang)架”形(xing)成的一個(ge)有機(ji)结合(he)体，覆(fu)蓋(gai)從(cong)产品設(she)計(ji)、开发到部(bu)署(shu)上線(xian)，再(zai)到日常(chang)运行的生命周期全过程，华为云智能运维平(ping)臺(tai)在AI加(jia)持下，更(geng)高效地(di)服务客户。

亮点二(er)：华为云SRE“确定性运维”能力体系和成熟(shu)度模(mo)型提升可用性

华为云SRE将“确定性运维”能力转化为云上业务运维的能力体系。华为云SRE持续开展确定性运维工作，重(zhong)大事(shi)件(jian)逐(zhu)年下降，确定性恢复时长持续优化，将“确定性运维”能力转化为云上业务运维的能力体系，梳(shu)理出如(ru)下適(shi)用于云上业务的“确定性运维”能力体系和成熟度模型，企业可对當(dang)前(qian)运维体系的现狀(zhuang)进行成熟度评估(gu)，有針(zhen)对性开展可用性提升工作。

确定性运维能力成熟度模型

亮点三(san)：稳定可靠是华为云SRE生产力與(yu)核(he)心(xin)競(jing)爭(zheng)力

組(zu)織(zhi)变革(ge)向SRE模式(shi)转型之(zhi)後(hou)，關(guan)鍵(jian)的是构建确定性运维能力，华为云SRE确定性运维的核心理念是从正(zheng)向设计的角(jiao)度从系统架构層(ceng)面思考如何(he)不出問(wen)題(ti)、少(shao)出问题、出问题影响面小(xiao)、快速恢复。

高可用架构的目标以及架构方案是提升可靠性，确定的失(shi)效率。提升可恢复性，确定的恢复时长，縮(suo)小故障影响范围，确定的影响范围。

确定性动态清零风控是用AI和專(zhuan)家(jia)能力实现风險(xian)冒(mao)泡(pao)，並(bing)及时清除(chu)。通过持续提升監(jian)控、定界(jie)与快速恢复能力達(da)成确定性的恢复，构建PRR、ORR、混沌工程等(deng)主(zhu)动运维能力；用数據(ju)智能支撑持续的自(zi)我(wo)改(gai)进。

确定性恢复能力是瞄(miao)準(zhun)故障的，基于NRI进行故障模式分(fen)析(xi)，梳理出故障模式庫(ku)，再针对每(mei)一个場(chang)景(jing)，参考MTTR公(gong)式分解出“发现时长”、“定界时长”和“恢复时长”，并逐项优化。

亮点四(si)：《华为云SRE确定性运维专刊(kan)》支撑客户交(jiao)流

华为云SRE针对具(ju)体运维可用性问题进行专项提升，推出《华为云SRE确定性运维专刊》，开创一个交流平台，通过方案优化、经验分享(xiang)等方式，相(xiang)互(hu)启发与碰(peng)撞(zhuang)，助力客户提升应用稳定性，构建安全稳定高可靠的“确定性”运维世(shi)界。

MAS高可用解决方案保(bao)障企业級(ji)高可用，业务“零”中斷(duan)

隨(sui)著(zhe)数字化转型和企业的云上业务爆(bao)发性式增长，每一次(ci)的災(zai)難(nan)都(dou)會(hui)造(zao)成巨(ju)大经濟(ji)、品牌(pai)和数据損(sun)失，越来越多的企业用户在将业务上云的同(tong)时也(ye)在考慮(lv)如何在云平台環(huan)境(jing)下保障业务的稳定性和連(lian)续性，华为云作为国內(nei)TOP级公有云廠(chang)商(shang)，承(cheng)載(zai)着越来越多的企业的核心系统，而(er)企业上云之后，仍(reng)然(ran)会面臨(lin)着諸(zhu)多难题如下：

敏(min)捷(jie)开发和DevOps的普(pu)及，軟(ruan)件系统的規(gui)模、复雜(za)度和运维模式发生重大变化，业务快速上线和高可靠面临矛(mao)盾(dun)和挑战； 云服务作为分布(bu)式系统高并发、高敏感(gan)，企业迫(po)切(qie)需(xu)要避(bi)免(mian)现网重大质量事故，单个AZ/Region無(wu)法(fa)滿(man)足(zu)高可靠訴(su)求(qiu)； 业务爆发式增长，外(wai)部輸(shu)入(ru)千(qian)变萬(wan)化以及容(rong)量沖(chong)擊(ji)，不可避免对系统稳定性造成影响； 云厂商技术綁(bang)定，无法获得先(xian)进技术和價(jia)格(ge)优勢(shi)。

华为云MAS多活高可用解决方案，是华为公司(si)产品高质量、高可靠实践过程中经过多年錘(chui)煉(lian)和经验積(ji)累(lei)持续演(yan)进形成的组合解决方案，包括应用韧性混沌工程、CPTS全鏈(lian)路(lu)性能壓(ya)測(ce)、MAS应用容灾多活、AOM/APM系统稳定性监控、可觀(guan)测性大屏(ping)等能力，是围繞(rao)提高产品、服务和系统的韧性、可靠性数字免疫(yi)系统，保障企业上云建立(li)信心，快速数字化转型，支撑服务稳定可靠、安全可信、可持续发展。

亮点一：中国信通院“先进级”權(quan)威(wei)認(ren)證(zheng)，华为千锤百(bai)炼形成最佳实践

华为云MAS多活高可用解决方案，是华为公司产品追(zhui)求高质量、高可靠过程中经过千锤百炼形成的最佳实践，包括应用韧性混沌工程、CPTS全链路性能压测、MAS应用容灾多活、AOM/APM系统稳定性监控、可观测性大屏等能力，其(qi)中多活容灾、混沌工程、全链路性能压测、撥(bo)测探(tan)活等能力已(yi)经廣(guang)泛(fan)应用于华为云、終(zhong)端(duan)云、流程IT云、車(che)云等系统中，形成了端到端系统化的智力資(zi)产。

MAS多活容灾源(yuan)自内部孵(fu)化以及10億(yi)级云服务持续高可用成功(gong)经验，经过多年核心技术的沈(chen)澱(dian)逐步产品化，服务于能源、交通、直(zhi)播(bo)、互聯(lian)网、金(jin)融(rong)等十(shi)余(yu)个不同领域，具備(bei)业界Top成熟客户的落(luo)地实践经验和案例，关键技术领先于业界；

混沌工程是华为云服务、ICT等产品超(chao)过10年锤炼形成的包括故障演練(lian)流程和方法、可靠性评估标准以及故障模式库和武(wu)器(qi)库等核心资产，通过能力外溢(yi)对外形成产品化服务；

全链路性能压测服务CPTS经过数年积累形成了電(dian)商、一碼(ma)通、秒(miao)殺(sha)、流媒(mei)体等场景模型以及8大性能压测模型，提供超过1000万规格超大并发能力，性能冲击能力领先业界；

华为云拨测探活服务通过提供核心接(jie)口(kou)分鐘(zhong)级监控和拨测探活一体化能力，已经成功保障华为公司200+产品和服务实现故障提前感知(zhi)和告(gao)警(jing)。

华为云MAS多活高可用解决方案中的MAS应用容灾多活、应用韧性混沌工程和CPTS全链路性能压测三大核心能力2022年先后参加了中国信通院檢(jian)验，分別(bie)获得了中国信通院先进级最高权威认证，說(shuo)明(ming)MAS多活高可用解决方案行业内达到了领先标准。

亮点二：MAS多活高可用组合解决方案，构建完(wan)整(zheng)韧性、可靠性数字免疫系统

MAS多活高可用组合解决方案聚(ju)焦(jiao)应用多活提供一体化高可用解决方案：

通过混沌工程主动引(yin)入故障和常态化故障演练，实现练兵(bing)“千日”，用兵“一时”，形成“肌(ji)肉(rou)記(ji)憶(yi)”的法寶(bao)，驅(qu)动产品持续提升高可用防禦(yu)和恢复能力； 全链路性能压测通过验证系统性能规格和过载能力评估，提前发现产品性能瓶(ping)頸(jing)，从而对系统进行擴(kuo)容和过载保护； 接口拨测提供现网运行态监控和拨测探活，提前感知故障和快速告警； MAS多活容灾提供入口流量层、应用层、数据层的端到端的流量管理、故障切換(huan)、容灾演练等高可用能力，保障故障场景下的业务快速恢复； MAS可观测性提供多活容灾大屏、系统稳定性监控大屏以及故障演练大屏；

整个组合解决方案涵(han)盖故障註(zhu)入、流量压测、拨测探活、多活容灾和全场景可視(shi)化等能力，形成了完整的高可用攻(gong)防数字免疫系统，端到端系统性提升系统高可用能力。

针对产品不同的架构形态和多活容灾诉求，MAS多活高可用组合解决方案提供专业咨(zi)詢(xun)服务和专家服务，涵盖多活容灾咨询、架构診(zhen)断、高可用架构设计规范、应用开发规范、实施(shi)方案、故障演练、性能压测、厂商搬(ban)遷(qian)等能力，支撑企业快速构建多活容灾高可用能力。

亮点三：多活容灾专注业务高可用，提供秒级的RPO与分钟级RTO

通过华为云多活高可用服务，企业可以輕(qing)松(song)实现业务级高可用保障、E2E的多级联动高可用架构、秒级的RPO与分钟级RTO、低成本(ben)的容灾演练能力，MAS提供的核心能力和优势包括：

端到端（管理-流量-应用-数据仲(zhong)裁(cai)）和多活容灾管控，以业务为中心，流量、业务、数据端到端高可用，配(pei)合高階(jie)云服务和底(di)层资源，分层管控实现业务级的高可用； 支持同城(cheng)灾备、同城多活、兩(liang)地三中心、異(yi)地多活单元(yuan)化等平滑(hua)且(qie)可长期可演进性的高可用架构，支持各(ge)種(zhong)阶段的业务，满足业务高可用架构长期的演进和发展； 可视化容灾多活編(bian)排(pai)調(tiao)度基座(zuo)，基于华为云八(ba)爪(zhao)魚(yu)（MAS-Octopus）分布式调度引擎(qing)，支持可编排容灾多活串(chuan)并行业务流程和自动執(zhi)行，豐(feng)富(fu)的容灾多活切换插(cha)件，业务的一键自动容灾或(huo)者多活切换，实现同城秒级RTO/RPO，异地分钟级RTO/RPO。

亮点四：混沌工程是提高分布式系统稳定性的最佳实践，通过常态化故障演练，练兵“千日”，用兵“一时”，形成肌肉记忆

华为云混沌工程已经广泛应用于华为云、终端云和流程IT云200+产品和服务，通过华为云和ICT等产品持续积累和锤炼，积累了丰富的流程和方法、可靠性量化评估标准以及故障模式库和武器库等核心资产，核心能力和优势包括：

业界领先的基于故障模式库的負(fu)向测試(shi)方法，提供了10大场景、200+全品类故障注入武器库，覆盖整个云基础设施和云应用场景； 混沌编排构建多樣(yang)化真(zhen)实场景，提供了随机时间、随机对象(xiang)、随机故障注入的可控随机能力，实现低門(men)檻(kan)、可编排构建Dev側(ce)逼(bi)近现网真实场景的混沌工程能力； 可靠性量化评估模型和故障诊断，基于华为云防御、检测、响应和恢复可靠性能力模型，屏蔽(bi)不同业务稳态指标差(cha)异，抽(chou)象形成通用可靠性量化评估指标包括故障检测时长、业务中断时长、业务恢复时长以及业务恢复率等，自动量化评估系统可靠性能力，同时提供基于测试对象和故障模式的可靠性风险评估和诊断服务，自动发现系统可靠性风险和薄(bo)弱(ruo)环節(jie)； 承载常态化故障演练和紅(hong)藍(lan)对抗(kang)流程和方法，提供了演练方案、演练计劃(hua)、消(xiao)息(xi)通知、演练实施、演练報(bao)告和复盤(pan)等完整的故障演练流程，用于满足产品在研(yan)发环境和生产环境例行演练、突(tu)击演练和红蓝对抗等混沌工程实践，通过实战检验产品可靠性能力，提高研发、SRE團(tuan)隊(dui)对现网可靠性问题的响应和恢复能力，是整个混沌工程不可获取(qu)的环节； 自动监控和全场景可视化，基于华为云稳态流量自动注入、拨测探活、资源监控、业务指标监控和调用链追蹤(zong)实现混沌工程全场景监控，结合可视化大屏实现过程、状态、结果全流程可观测，輔(fu)助产品快速发现系统可靠性风险和高可用策(ce)略(lve)决策。

华为公司终端云、华为云、流程IT云以及ICT产品通过常态化故障演练，大幅(fu)提升产品可用性，混沌工程从Ops阶段前移(yi)至(zhi)Dev阶段提前攔(lan)截(jie)系统韧性、可靠性90%以上的问题，通过月度、重大节日和突击演练支撑云服务产品现网可靠性问题连年下降，目前华为云混沌工程已经依(yi)托(tuo)MAS解决方案产品化为华为云租(zu)户提供服务，提供覆盖从研发到运维全流程混沌工程能力，必(bi)将大幅持续提升云服务应用稳定性。

亮点五(wu)：开展全链路性能压测， 主动发现系统性能瓶颈

华为云CPTS服务提供低门槛、低成本的一站(zhan)式云化性能测试能力，支持丰富的性能压测仿(fang)真協(xie)議(yi)、性能模型和场景模型，经过数年积累形成了电商、一码通、秒杀、流媒体等场景模型以及8大性能压测模型，提供超过1000万规格超大并发能力，性能冲击能力领先业界，核心能力和优势包括：

低成本超高并发，自主研发性能压测仿真内核，支持单机万级并发，集群(qun)超过1000万规格超大并发能力，模擬(ni)瞬(shun)间发起(qi)大量并发； 丰富的性能测试场景和模型，提供电商、一码通、秒杀、流媒体等场景压测模型自动生成、8大压测呼(hu)叫(jiao)模型、低代(dai)码流程编排等满足千行百业性能压测和评估诉求； 性能瓶颈自动摸(mo)高和快速评估，智能摸高模型和算(suan)法快速验证系统性能规格和瓶颈，无縫(feng)对接应用性能管理（APM）、应用运维管理（AOM），提供事务并发、RPS、吞(tun)吐(tu)量、响应时延(yan)等多维度性能统计，专业性能测试报告和性能分析，快速发现系统性能瓶颈。

经过信通院的权威认证和持续探索(suo)业界最佳实践，华为云在云系统稳定性领域持续发力，为客户提供稳定可靠的运维体系和云系统稳定性保障工作。

华为云SRE和更多企业一起开展面向应用视角的稳定性提升工作，幫(bang)助企业在质量、成本、效率中尋(xun)找(zhao)最优方案。华为云MAS多活高可用解决方案通过提供业界完整多活高可用组合解决方案保障更多的云服务实现业务“零中断”、数据“零丟(diu)失”、故障快速恢复和自愈(yu)等高质量、高可用目标，支撑企业云上业务持续商业成功，共(gong)同构築(zhu)业界一流的软件质量，讓(rang)企业业务在华为云上创新更稳定可靠！返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多

責(ze)任(ren)编輯(ji)：