
不可估量的指标。
管理(130), 指标(5)随着组织增长复杂,他们通过Grantal Allutals进行了管理,这些抽象越来越多地从他们所代表的现实中漂移。
在最小的团队中,决策者每天可能在代码中深入。有点较大,你正在谈论Sprint的任务。更具成长,你正在谈论任务的集合,并采用像“史诗”这样的花哨词。在一百加工程师,你可能主要用焦点在一对夫妇的主题上说话关键举措。数千美元,您可能会谈论您的投资框架进行资源决策。
无论路径,指标都是您的最终目的地。
指标是一个非常有效的抽象。一种良好的公制有足够的背景,了解您的表现,情境化对历史表现的表现,以及定义清晰,可渐进的目标。
具有目标的示例度量可能是:
20%的部署是Canaried.Q4,Q3中的10%,但缺少我们的目标为25%。
这有几个原因是强大的。首先,历史背景描述了我们进步的向量,特别是当与图表配对时显示更多的背部。其次,这是非常明确的目标是否被击中,历史向量会通知一般意识的目标是多么困难。最后,最重要的是,人们可以通过对基础主题的最小知识进行这一评估。
人们领先的复杂公司很有能力理解潜在的工作,但他们只能谨慎地发表这张卡。对他们的注意力有如此多的要求,指标成为优先考虑从远处观察的区域的大滤波器,并钻入。
组织需要一些时间,以获得新的能力,以满足这种无懈可击的指标需求。良好的指标需要深入了解下面的数据,并且建立熟悉程度是真正的工作。Metrics-ERA的开头的特点是在度量标准选择中搅拌。每个学习激发了对您的指标目录的改进,大多数新指标都需要新的仪器,管道和卫生。
这需要时间,并且很难完成,但它是可预测的工作。您提供更多时间,了解更多信息,您的公制选择变为耐用,有用的实质化的现实。
嗯,这就是它通常如何工作,无论如何。由于我在定义和使用度量方面获得了更高的经验,我的时间越来越多地处理蔑视易于测量的领域。我有时被诱惑形容的地区不可批判。
当我遇到新的基础设施领导者时,我的第一个问题通常是:
- “你如何衡量贵公司的安全?”
- “你如何衡量你的团队的生产力?”
答案各不相同,但通常两者的测量状态都需要待期望。挑战对两者都相当相似,因此我会特别钻取衡量安全性。
测量安全
当我们谈论衡量安全性时,它很容易识别输出指标描述您所需的结果。但是,通常情况是,安全指标的分子或分母是不可知的。例如,您可能希望在检测入侵中设置目标,但定义您无法知道分母是什么,因为该数字包括未检测到的入侵。
同样,在您确实知道分子器-e.g的情况下。已知安全漏洞的数量 - 通常是唯一可接受的目标为零的情况。这些力量共同努力增强“零指标”,例如设定“零漏洞”,“零内部演员事件”,“零受损系统”等目标的目标。
“零指标”是一种专门的形式二元指标,其中唯一有用的数据是您是否成功(命中零)或失败(打出超过零)。这些不是特别有用的,因为它们提供了非常粗糙的性能等级,真的只是通过/失败。更糟糕的是,他们不可行。假设它不是一个忽视的领域,如果你有四个,你可能会在接下来的情况下优先考虑相同的工作。如果你有四个。
如果我们从这些二进制指标退回,那么有许多非常有用的指标值得考虑衡量我们的安全性,例如:
- 图书馆有多快c升级?
- 您最旧的活动服务器多大了?
- 请求的百分比达到MTLS?
- 有多少人可以访问服务器?
- 有多少人可以root访问服务器?
挑战是这些都是输入指标这对于针对计划的衡量进展而言非常出色,但在测量计划的质量时弱。当然,我们加密了100%的服务器的存储,但在多大程度上导致了我们的安全性?
依赖输入指标的另一个问题是它们太多而且太具体,无法轻易综合为有用的理解。这意味着它们失败了提供高级领导的批判性作用,通过这是有效地了解地区的表现。
合成度量
将这些挑战拉在一起,找到了对组织绩效的良好指标的有用定义:
- 它应该暴露足够的渐变,以检测随时间的性能变化,
- 渐变的变化应该指导有用的行动,
- 它们应该以有限的上下文评估
- 他们应该足够广泛地抽象出显着的复杂性。
在这一点上,我不认为有一个自然具有这些属性的安全性指标,但幸运的是我们不必依赖自然度量。我的方法最近一直在创造合成度量,将哪个包输入指标变为有用的抽象。
一个很好的例子是,如果您想到创建“服务器安全等级”,那么您将根据其输入指标从“A”到“F”分配每个服务器的字母等级。这里的特定是一个正交的,但也许具有“a”安全成绩的服务器将不到七天,运行最新的操作系统,并且具有非常有限的根访问。每天都会向每个服务器评估安全成绩,然后您可以开始跟踪字母等级的服务器的分发。
不是详细谈论每个输入度量,而不是谈论各种输入度量,而是可以在移位等级分布周围开始设置目标。例如,您的守门指标可能是:
80%的服务器拥有一个安全等级,高于Q4的60%,击中我们的目标为75%。
这取代了一些非常简洁的东西的大量复杂性。您仍然可以围绕每个字母等级的定义进行高杠杆讨论,但人们可以在不挖掘这些定义的情况下了解景观。您可以测量分发转移以评估长期进度。如果等级的分布向下移动,则可以钻取到哪个输入度量导致移动,并使用该输入度量来识别纠正措施。
总的来说,我认为这种方法令人惊讶的是有用的,但这不是自由的。这种方法的主要缺点是设计,仪器和演变的复杂性。根据您使用的工具,维护此类指标的开销可能很难支持,但我认为随着事情变得更加复杂,这是一种值得增加您的方法的强大技术。
人们如何为不可估量创造指标?
除此之外,衡量生产率与衡量安全性的所有原因都是具有挑战性的。我之前已经写了一些关于这个问题,总结一下加速生产力定义这侧重于使用行业研究选择正确的输入指标,在我的系统思维介绍这试图将输入指标总结为可理解的模型。
我的思想已经进化了一下,专注于内部开发人员调查(但不是CSAT分数,相当参与率和最重要的担忧变化的速度)和工作流程可用性的合成度量(这是基于各种输入。标准,如构建,测试和部署速度和可靠性)。
这么多留给学习!