请选择您所在国家或地区的语言!

 热线电话:13588888888

微盟10亿血泪教训:技术毛病和治理问题是你欠不起的债

本文摘要:克日微盟泛起了大规模系统故障,凭据官方通告:微盟研发中心运维部焦点运维人员贺某,于2月23日晚18点56分通过小我私家VPN登入公司内网跳转机,因小我私家精神、生活等原因对微盟线上生产情况举行了恶意的破坏;这是一起运维部门焦点员工在生产情况的“删库”操作引发的。本次删库事件引发了IT技术圈的广泛关注;小编整理了网友们比力好奇的几个问题:运维发生的危害为何这么大?修复期为何这么久?微盟是否存在治理毛病?类似事件如何预防?

lol赛事押注

克日微盟泛起了大规模系统故障,凭据官方通告:微盟研发中心运维部焦点运维人员贺某,于2月23日晚18点56分通过小我私家VPN登入公司内网跳转机,因小我私家精神、生活等原因对微盟线上生产情况举行了恶意的破坏;这是一起运维部门焦点员工在生产情况的“删库”操作引发的。本次删库事件引发了IT技术圈的广泛关注;小编整理了网友们比力好奇的几个问题:运维发生的危害为何这么大?修复期为何这么久?微盟是否存在治理毛病?类似事件如何预防?为此,小编对沃顿在线卖力人朱磊和业界知名软件研发工程效能专家茹炳晟举行了专访,内容整理如下。单个运维人员发生的危害为何这么大?信息化时代,没有伶仃的个体信息化时代,系统集成变得度越来越高,作为单个个体是完全可以摧毁一个系统的。可是在信息时代以前,这是难以想象的。

人类历史上,一个个体决议一个民族,一个朝代历史走向的事情,也不是没有发生过,但必须是那些位高权重的大人物。此次事件的主角作为公司的焦点运维人员,显然在这种事情拥有天然的便利。云上服务,运维权限过大谈到运维和DevOps,我们会发现,许多IT运维人员的权限过大,甚至会大到可以摧毁一个系统/产物,这种在一些创业公司中比力常见。微盟公司现提供的服务是部署在服务器上的。

为了便于事情,运维工程师手里掌握着高权限的账号,可以对服务器举行任何操作。例如,这次删库事件运维工程师使用高权限账号把服务器上的文件删除,直接导致服务器瓦解,进而造成公司业务中断。难以制止的人为因素抛开运维人员是否会出于恶意去破坏自己的系统,但作为人的操控来讲,忙中堕落的概率还是不小的。所以,这个问题带给我们的启示是,要充实重视小我私家在系统中可能发生的作用,必须对小我私家的行为举行严格的羁系,制止由小我私家引发的系统性故障。

恢复时间为何这么长?据先容,一般来说数据备份要对最近的数据至少在30分钟内可以恢复。既然微盟已经在全力抢修,腾讯云也表现在给予技术协助,那全面恢复的时间为什么还要这么久呢?影响因素一:灾备泛起问题运维人员对生产服务器举行了文件删除,并没有提到对备份服务器举行破坏。

如果微盟有着高性能灾备,那么恢复服务在技术层面是没有太浩劫度的。可是凭据现在官方的信息推测,数据库应该是在生产情况的当地库发生了不行逆的删除,否则不会需要这么长时间。

假定当地生产库没了,那唯一的方法就是借助远程灾备的全量备份库来恢复,但这也会引发出一系列的问题,好比远程库容量大,需要大量的网络传输时间。影响因素二:恢复流程庞大就数据恢复来讲,受到的影响因素较多,这其中包罗了应急团队响应速度、技术能力、被删文件体积、文件被删后继续频繁读写硬盘等等,这些任何一个泛起问题都影响恢复时间。影响因素三:技术实现难度大不熟悉运维的人可能会以为恢复是比力简朴:不就是重装一下系统或者恢复下数据库备份吗,其实这其中的涉及技术比我们想的要更庞大。

1.业务架构庞大,现在常用的软件的架构及部署是极其庞大的,在微服务大行其道的今天,每个微服务自己就是一个集群,微服务和微服务之间另有种种依赖关系,同时每个微服务都有可能会和数据库打交道,光理清楚这些服务之间的依赖和设置就够大家受的了。2.时间紧,任务重,此次事件涉及到险些是整体架构的梳理,难度不亚于从0到1搭建一个新系统,再加上客户压力和舆论压力,难度可想而知。3.数据库问题,有可能是增量备份的完整性欠缺,此外,还会泛起由于近期的数据Scheme变换引发的备份数据兼容性问题等。这些都需要研发人员和运维人员的配合推进,这些都市导致事情量加大和时间的推迟。

微盟的问题:技术治理和数据灾备不能忽视成本是影响公司数据治理投入的直接因素微盟删库事件,袒露了部门互联网公司内部数据治理的杂乱。按理像微盟这种体量的公司对于数据宁静和掩护的投入和重视水平理应是很是大的。

可是此次事件背后隐藏的是利益问题,对以微盟为代表的企业来说,数据宁静和掩护对于是比力大的成本支出,并不能直接缔造营收,所以往往有些还在发展阶段的企业不会重视投入,许多制度掩护也往往流于外貌。对大公司来说,如果忽视数据宁静会有可能带来更大的损失,所以一般来讲大公司对数据宁静对投入和措施比力规范,类似微盟这样对删库问题基本不会泛起。互联网公司治理内功欠缺21世纪是属于互联网等新工业的时代,可是治理问题一直是新兴互联网企业前行的最大阻碍,企业治理的意义,预计每个公司的高管都懂,任何一个企业的向导掌舵者都不会忽略的问题,可是能够真正做到真的很难。互联网生长迅速的同时也埋下了隐患,浮躁的行业使得互联网公司高层治理没有时间学习治理,没有时间苦炼内功,这次微盟事件,给互联网公司上了重要的一课,也希望更多公司能吸取教训。

如何制止此类事件?此次事件给微盟和微盟客户造成了巨额损失,对于整个事件背后袒露的治理与技术毛病等问 题,其他公司甚至整个行业需要如何制止类似问题再次发生呢?小编总结了茹炳晟和朱磊的建议,来从运维和公司两个角度聊一下。对于运维技术人员:1.制止任何形式的人肉运维如今随着软件架构庞大性的不停提升,从早期的“人肉”运维,到现在的DevOps,再到现在初绽头角的AIOps,运维的理念和技术手段也一直都在不停地演进。但这其中人的影响一直存在。这也是为什么大型企业都市建设比力完善的分级和分层公布流程,层层羁系和审批,制止小我私家单点故障的无限放大。

固然,这些羁系和审批必须要纳入到由技术驱动的DevOps流水线中来完成,而不是靠传统的向导签字来完成。所有对生产情况的变换,像系统参数、宁静计谋、网络设置、应用参数、情况参数、文件更新和数据库更新都应该是通过DevOps的流水线走正式的公布上线流程,所有的操作必须是由剧本或者自动化代码来完成,任何小我私家都不应具有直接在生产情况上执行下令操作的场景。因此应该制止任何形式的人肉运维,提倡“人管代码,代码管机械”,而不是“人直接受机械”。

2.未雨绸缪,做好灾备演练一般来讲待服务项分为两类,划分是既重要又紧迫的事和很是重要可是不紧迫的事,也就是运维同学经常面临的种种救火型任务(生产情况Bug fix、Hotfix公布等)和未雨绸缪型任务(自动化运维、监控数据分析统计、模型获取与优化等)。理想情况下,应该将更多的时间放在未雨绸缪型任务上,而只将少量的时间放在救火型任务上。当把未雨绸缪型任务做好了,那么救火的概率就下降了。可是现实情况正好相反,运维同学天天忙于种种公布、种种线上救火,基础没有精神去归还各个时期欠下的技术债,这种模式就难逃成本中心的宿命。

因此运维部门在平时定期开展一些故障演练的实践是很须要的,联合混沌工程(Chaos Engineering)的思想,来确保系统的鲁棒性和可维护性,以此来应对各种突如其来的“黑天鹅”事件。“纸上得来终觉浅,绝知此事要躬行”,只有在实际故障演练的历程中,我们才有可能获得许多名贵的一手实战履历,光靠想是不行的。对于整个公司:1.运维是成本中心的谬论在许多人的眼中,运维部门都被归在成本中心,简朴来讲就是花钱的部门。运维是成本中心的宿命论对于运维的生长其实是很倒霉的,如果运维部门恒久处于机械性的公布执行和生产情况救火的状态,那么就会陷入无止境的恶性循环。

许多时候,我们总是解决了看得见的问题,可是看不见的问题往往会在看不见的地方聚集,这类问题一旦泛起就都是大问题。所以我们需要转变运维是成本中心的思维定式,让运维的同学能够更努力地去思考息争决系统性的问题。2.做好危机公关微盟的这次删库事件,对许多行业用户造成了很大的影响,可是面临危机,微盟所体现出来的社会责任感是值得我们借鉴和学习的。

面临突如其来的故障,微盟并没有试图掩盖真相,而是第一时间在其官网揭晓声明,解释事情的背后原因,而且明确见告了后阶段的恢复计划以及明确的时间节点。多一些真诚,少一些套路,有问题一起扛,是面临此类危机最好的方法。

如果你试图掩盖,盖不住了就撒谎,接着就像张宇唱的那样“用一个假话圆一个假话”,一定会让自己陷入更深条理的危机。危机之下,我们要的是公然的信息,这样才气淘汰民众的推测,抵制黑公关,并获得大家的明白和支持。采访工具:1.茹炳晟:业界知名实战派软件质量和研发工程效能专家,腾讯云最具价值专家,中国商业团结会互联网应用技术委员会智库专家,脱销书《测试工程师全栈技术进阶与实践》的作者,“软件测试52讲-从小工到专家的实战心法”的专栏作者。

现任Dell EMC中国研发团体资深架构师,历任eBay中国研发中心测试基础架构技术卖力人,HP软件中国研发中心资深架构师、性能测试专家,Alcatel-Lucent高级技术主管,Cisco中国研发中心资深工程师等职位,具有凌驾16年的软件研发和技术治理履历。2.朱磊:专注运维宁静的北京沃顿在线信息技术有限公司首创人,《暗战:数字世界之战》一书作者。

他曾任京东研发系统宁静司理,具有多年的互联网信息宁静治理履历,富厚的信息宁静理念和多个宁静系统架构履历。


本文关键词:lol赛事押注平台,微盟,10亿,血泪,教训,技术,毛病,和,治理,问题

本文来源:lol赛事押注-www.dian56.com

Copyright © 2009-2021 www.dian56.com. lol赛事押注科技 版权所有