安庆大理运城常德铜陵江西
投稿投诉
江西南阳
嘉兴昆明
铜陵滨州
广东西昌
常德梅州
兰州阳江
运城金华
广西萍乡
大理重庆
诸暨泉州
安庆南充
武汉辽宁

关于故障复盘的一些总结

5月5日 观潮阁投稿
  这是学习笔记的第2277篇文章
  有句话说,常在河边走,哪有不湿鞋。我身边经常会看到不少数据故障。每每碰到这些问题,原因都是让人唏嘘不已。
  而碰到故障的时候,除了通常都会说的后续改进,其实很多人对于问题的认识和理解还不够深入,这里主要包含几个方面:
  1)害怕承担更多责任,会选择性的缩小问题影响范围和通知范围
  2)如果问题不是出在自己身上,切身的感受不够深刻,觉得是在讨论别人的事情,持旁观态度
  3)对于问题的改进方向错误,比如说因为手工误操作导致故障,如果反思是直接杜绝任何手工操作,就简单粗暴,而且很难落地了
  4)关注的还是问题本身,没有从更高的角度来看待问题,通常故障都是和规范,标准,流程相关的
  所以对于故障的复盘,我觉得可以从两个大的方向来进行思考和总结,也参考了很多资料,直接搬过来了。
  1)如果快速高效的处理故障,是直面故障时信息的快速上传下达
  2)如何避免后续出现此类故障,潜台词就是可以规避,如果规避不了,参考第1条。
  所以顺着故障的背景信息来展开,我们可以尝试用如下的两个表格来进行故障复盘和总结。
  1)如何快速高效的处理故障
  复盘项
  问题点
  总结改进
  监控报警
  监控是否足够完备?
  流程监控
  报警是否足够及时?
  秒级监控、自动报障
  故障响应
  故障响应时间是否过长、能否缩短、如何缩短?
  故障电话、主备负责人
  故障定位
  故障定位时间是否过长、能否缩短、如何缩短?
  故障看板、调用网格
  故障修复
  故障修复时间是否过长、能否缩短、如何缩短?
  故障紧急发布通道、大招系统
  故障流程
  故障信息同步是否及时?
  故障信息流转系统
  用户投诉反馈是否关注到?
  投诉反馈自动聚合上报
  客户端故障公告是否按预期周知到位?
  联动客服,定期演习;及时弹公告安抚用户
  是否还存在不符合流程规范的问题
  引起二次故障的一些操作等
  2)如何避免后续出现此类故障
  复盘项
  问题点
  总结改进
  防患于未然
  有没有故障征兆?
  系统缺陷的发现机制:运维系统风险工单
  故障征兆为何没有及时扼杀?
  系统缺陷的跟进与升级机制
  不可抗力
  挖断光纤
  备用专线
  机房断电
  柴发续供
  上联交换机故障
  带状态服务打散,避免交换机聚集
  外网故障
  客户端容灾,自研解析
  用户群体性行为
  容量灵活伸缩能力
  驱动因素
  为什么要做这个变更操作?
  必要性把关
  变更方案和代码变动有没有审核review?
  变更风险评估
  影响面控制
  是否先发布到测试环境和预发布环境验证效果?
  增加变更测试和预发布验证的强制流程
  测试环境和预发布环境,为什么没有感知和拦截异常?
  预发布验证流程监控反馈建设
  这个变更操作有没有灰度
  强制灰度
  这个变更操作是否支持回退?
  变更前置的回退评估
  回退是否足够及时快速?
  升级加速渠道
  系统架构
  过载保护是否符合预期
  review分析有效输出比例
  环境耦合情况评估
  顶层高扇出,底层高扇入
  是否柔性可用
  有损大招机制
  变更管理
  变更权限管理
  按负责人收敛权限
  变更计划性
  严控紧急上线行为
  变更时间窗口
  非工作时间限制变更
  变更质量反馈
  变更监控建设
  上面的这些问题感觉还是挺不错的,可以作为一个复盘总结时的切入点,把大大小小的故障和问题的处理过程都总结出来。
  运维无小事,如果按照复盘的思维总结很多问题,那么你的知识集会越来越丰富。而相应的处理机制也会越来越健全。
  我经常和团队成员说:你怎么证明你做的事情是正确的,如果能够按照这种自证的方式解决问题,那么完全就是一种自驱模式,前途不可限量。
投诉 评论 转载

关于故障复盘的一些总结这是学习笔记的第2277篇文章有句话说,常在河边走,哪有不湿鞋。我身边经常会看到不少数据故障。每每碰到这些问题,原因都是让人唏嘘不已。而碰到故障的时候,除了通常都会……有的人确实不是一路人,不必强迫自己其实,真的,说点真是的故事,有点没必要,又觉得算是个学习过程,从中有所收获,分享一下。有一种人,就是天生的那种欺软怕硬的人,她一开始就是会伪装。刚刚开始时,我对她很好,什……据说两性之间拥有这些技巧,让你们之间的感情无法自拔男女之间的沟通,或良好的婚姻关系的维持,需要一定的技巧。激情过去,如何保持爱情新鲜,如何让你的关系更稳定!收获幸福的婚姻。这些都需要男人和女人的智慧。1、不要试图改变彼此……把握一颗珍珠的幸福一位长者讲过这么一个故事:有一个人非常幸运地获得了一颗硕大而美丽的珍珠,然而他并不感到满足,因为在那颗珍珠上面有一个小小的斑点。他想若是能够将这个小小的斑点剔除,那么它肯定会成……2020。12。29北京速写2020。12。29北京速写孙永红天气预报:29日至30日房山区有4、5级偏北风,阵风可达7、8级,最高温度10,最低温度15狂风劲歌天地动冰冷刺身袭入……洪水顺利通过13日17时,长江干流汉口站水位28。74米,较之前的洪峰水位28。77米有所下降。长江中下游洪水洪峰顺利通过汉口江段。长江水利委员会水文局实时水情监测显示,汉口站12日……和地震有关的12个单词,希望你永远用不着一直睡不着,索性码字整理了一下和地震有关的单词,希望你永远都用不上。01地震earthquake02地震带earthquakezone03余震……徐州市星光第三实验幼儿园快乐纸有你好奇、爱探究是幼儿的天性,在一次带领幼儿玩报纸游戏时,孩子们突然对纸产生了兴趣探究旅《指南》指出:要珍视游戏和生活的独特价值,创设丰富的教育环境,从孩子的需要、兴趣……天凉好个秋风渐渐凉,夏季的躁热正悄然离去,不经意间,清爽美丽的秋已经来到了身边。工作于是也变得得心应手,天热时穿不住的白大衣也能穿住了,十来个病人拿着液体几乎一起送到护办室,忙而不……开民宿如果不考虑这四个原则,最后只能以失败告终点击上方红色按钮添加关注广受青睐的民宿业出现了一些悲观论调:泡沫破灭遭遇瓶颈总结近年来民宿发展的经验教训,依据中国旅游市场的内在规律和发展趋势,民宿从业者想要自己的项目从……母亲的谎言我的母亲是个地地道道的农民,勤劳,朴实还特别爱说谎。小时候,家里条件不是很好,买上一斤肉要吃个十天半月的,每次做完母亲把碗里的肉片,都分给我们吃,说我们现在是长身体、用脑……河北职校男生查寝走红,嚣张指数堪比美玉姐,学校去给同学道歉在很多朋友眼里,高校的生活是十分令人向往的,就连明星杨超越在被质疑学历时,也大方坦言听说大学生活很美好,对这样的求学经历表示很羡慕。可是大学里也并不一定都是令人愉快的记忆……
作家周立波教我们生活变得简单且幸福(四)人生都是积少成多,然后才能突破瓶颈有所成就做一个沉默的人的美文欣赏郑鲜之,字道子,荥阳开封人的阅读答案解析及原文翻译2019年元旦送给老师的短信祝福语关于水的古诗词有哪些7月份第一天朋友圈发的说说冬雪的散文带着热爱生活的美好,探索心灵世界的歌谣全文这么美的院子,不出门都像在度假!感悟(生活社会人生)赚钱,努力是没用的

友情链接:中准网聚热点快百科快传网快生活快软网快好知文好找七猫云易事利