Los 7 pecados de las métricas de seguridad

Si estás en el enfriador de agua murmurando «Pero ese es EXACTAMENTE el gráfico que pidieron». Ingrese SIN # 1… «¡Consígame una gráfica de x versus y, codificada por colores por z!» Sonaban tan seguros cuando te preguntaban, así que creaste lo que querían, se lo enseñaste y lo odiaron. Ok, un poco melodramático. Pero en mi experiencia, desarrollar las métricas que las personas solicitan rara vez brinda la información que desean. ¿Por qué? A menudo, cuando alguien solicita una métrica, está en el proceso de determinar si hay valor en una pregunta que le gustaría hacer sobre sus datos. Hasta que vean el resultado, no saben si la salida les dará lo que buscan; También conocido como el problema «Lo sabré cuando lo vea».

Como científicos / analistas de datos, necesitamos construir métricas que aborden las preguntas que nuestros interesados ​​necesitan respuesta. Si no tienen del todo claro cuáles son esas preguntas o qué preguntas son más valiosas para responder, o si la métrica que han pedido es la mejor manera de responder una pregunta, el proceso de iterar a través del análisis con la esperanza de oro en huelga será insoportable para todos los involucrados. Si las partes interesadas no tienen suficiente definición sobre el problema que están tratando de resolver (¡esto es más común de lo que piensas!), Debemos ayudarlos. Porque si simplemente construimos la trama que nos piden, esencialmente estamos cruzando los dedos para que el trabajo que hagamos sea valioso.

«Personalmente, encuentro esto fascinante». Oh, el infortunio. Es PECADO # 2… Ah, sí. El descubrimiento de cosas fascinantes sobre las que nadie puede hacer nada. Si no producimos métricas que sean atractivas para nuestra audiencia y útiles desde su perspectiva … Si un equipo no puede tomar nuestro análisis, actuar en consecuencia y ver una mejora … Bueno, entonces nuestros gráficos serán desalentadores. Y a nadie le gusta una métrica que los haga sentir miserables.

Como personas que aman analizar datos, puede ser fácil analizar las métricas, excavar datos indefinidamente, explorar cosas que parecen que podrían descubrir un nuevo nivel de comprensión de la información que tenemos. (Esto también es cierto cuando ha realizado el trabajo duro para crear un gran conjunto de métricas, pero quedan montañas de posibles opciones de análisis). Siempre debemos tener en cuenta el objetivo de una métrica cuando dedicamos tiempo a seleccionar datos, lo que se traduce en, en primer lugar, evitar cosas que, en retrospectiva, eran proyectos favoritos y, en segundo lugar, saber cuándo hemos alcanzado «lo suficientemente bueno por ahora» en el nivel de resolución que tenemos en un problema. Las personas que financian nuestros esfuerzos tendrán paciencia si pueden ver el progreso, pero no si terminan con 30 tramas que pueden ser intelectualmente fascinantes, pero no brindan información de alto valor sobre la que puedan actuar.

«Es una ‘información procesable’, por lo que el equipo la encontrará realmente útil». Porque no es como si los equipos de seguridad ya tuvieran suficientes cosas en su lista de tareas pendientes, es SIN # 3 … Un problema con la palabra abusada ‘procesable’ en el marketing de seguridad es que hay una gran diferencia entre algo que es procesable y algo que vale la pena. actuando. Las buenas métricas de seguridad no enumeran todas las cosas posibles que podrían cambiarse para hacer que un patrimonio sea más seguro. Hacen que las partes interesadas se involucren en los problemas que tienen, que tienen el poder y el presupuesto para resolverlos. Idealmente, también muestran un conjunto claro de acciones que pueden ofrecer la mayor mejora en el desempeño de la seguridad o la exposición al riesgo. Si las métricas ofrecen una lista priorizada de 1000 acciones, es probable que los departamentos que ya están abrumados con listas de cosas por hacer no sean aceptados. (Claro, sus 1000 cosas pueden agregarse a su lista … justo en la parte inferior). Una sola acción que se ocupa de 1000 problemas obtendrá mucha más tracción. Y sí, desarrollar métricas que hagan esto está lejos de ser trivial.

«Creo que una disminución en este porcentaje significa que lo que hicimos fue bueno … ¿verdad?» Bienvenido a la ambigüedad del SIN # 4… Bien, tenemos una métrica procesable de alto valor que aborda algo que es importante cambiar. ¡Hurra! ¿Pero nuestra métrica rastreará el impacto total de nuestras acciones? ¿Pueden los factores externos afectar los datos y hacer que las cosas se vean mejor (o peor) de lo que son? Por ejemplo, una buena métrica de rendimiento debe reflejar claramente las acciones que hemos tomado para mejorarla. Si el alcance de dicha métrica es demasiado amplio, un cambio en su valor puede ser ambiguo y, por lo tanto, difícil de atribuir. Ejemplo: si estamos usando el número total de vulnerabilidades en nuestro patrimonio como un proxy para nuestra tasa de parcheo, Patch Tuesday aumentará este número y hará que nuestro rendimiento parezca que ha empeorado, incluso si el número de vulnerabilidades parcheadas por semana se ha mantenido. constante. Nota: ¡Esta no es una buena métrica para este escenario! Si no estamos midiendo algo que cambia de manera predecible cuando progresamos, tendremos que explicar interminablemente las métricas a las personas, y el objetivo de una métrica es brindar a las partes interesadas claridad sobre la situación.

«Nuestros equipos de operaciones utilizan estas métricas, las métricas del CISO se centran en otra cosa». Tenga cuidado con la divergencia del SIN # 5… Claro, una métrica puede desglosarse de manera diferente para diferentes partes interesadas, pero las métricas en sí mismas no pueden ser «diferentes». Las métricas deberán adaptarse a las diferentes partes interesadas, particularmente en términos de su granularidad y alcance, pero debe haber un hilo común que las atraviese.

Hay dos aspectos en esto. La primera es una vista compartida desde el Comité de Riesgos Tecnológicos hasta los equipos de Operaciones de TI de lo que un conjunto de métricas relacionadas con una medida de riesgo o desempeño les dice sobre las opciones de acciones o prioridades sobre las que deben actuar. El segundo es lo que llamamos «linaje de datos» dentro de esta vista compartida. El linaje de datos es, esencialmente, la capacidad de desglosar desde una métrica de alto nivel (es decir, la que tienen los ejecutivos en su panel de control), hasta los registros sin procesar a partir de las métricas (es decir, dónde se toman las acciones a nivel operativo). A menos que logre esto, terminará con una desconexión entre las métricas que se les dan a los ejecutivos para tomar decisiones de presupuesto y recursos, las acciones que se toman a nivel operativo y la capacidad de vincular las dos de un período de informe al siguiente.

«Estamos seguros de que los datos están completos». ¡Pero claro que lo eres! Es SIN # 6 … Una tendencia a ‘confiar en no verificar’ fuentes de datos seleccionadas por alguien (una base de datos que ha eliminado los campos ‘irrelevantes’ de una API, la CMDB que se considera una fuente de verdad de oro), puede llevar a suposiciones peligrosas. Y sabemos qué suposiciones hacen de usted y de mí … La cuestión es que las personas a menudo tienen sentimientos muy fuertes sobre los datos que poseen o curan. Es personal para ellos y, a menudo, se resisten a las sugerencias que pueden no ser precisas. Sin embargo, si no clasificamos las suposiciones sobre la precisión y confiabilidad de una fuente de datos, podemos terminar socavando fundamentalmente nuestro análisis. En el mejor de los casos, esto conduce a discusiones sobre la precisión de las personas afectadas por una métrica y a un posterior análisis que consume un tiempo valioso. En el peor de los casos, conduce a un colapso de la confianza de todos los análisis futuros.

«Creo que estos datos se verían muy bien en un gráfico circular» AAAAARGHHHH! ¡Aparta tus ojos! Es el PECADO # 7… ¡¿Hiciste todo este gran análisis y luego lo presentaste en un gráfico circular ?! Las tartas son para comer, no para graficar. Con ese arrebato terminado, hay un punto serio aquí. Todo el mundo tiene una preferencia por cómo le gusta recibir la información. Gráficos de barras apiladas, gráficos de anillos. La lista de visualizaciones que la gente pide y que hace que los científicos de datos aprieten los dientes es larga. Para comunicar el riesgo o el desempeño de la seguridad con claridad, tenemos que estar dispuestos a pelear nuestro rincón sobre por qué una visualización en particular no es adecuada para brindar la información que los tomadores de decisiones necesitan, ya sea a nivel operativo o estratégico.

También necesitamos seleccionar visualizaciones y construir viajes de datos que brinden a las personas la información que necesitan. Pero si no ayudamos a nuestras partes interesadas a comprender las visualizaciones que están viendo, si no les mostramos cómo se vinculan con las decisiones, si no les damos el contexto para nuestro análisis y cómo lo presentamos, Esperamos que nuestra audiencia dé un salto en la comprensión de que a menudo damos por sentado después de mirar los datos durante semanas.