Livro O Andar do Bêbado: aleatoriedade, riscos e tomada de decisão
Quando analisamos um incidente, uma sequência de falhas ou a evolução de um indicador, quase sempre procuramos uma explicação. Queremos saber o que mudou, qual foi a causa e o que aquele resultado diz sobre o futuro.
Essa busca é necessária em segurança e gestão de riscos. O problema surge quando encontramos padrões onde há apenas variação ou atribuímos causalidade a dados que ainda não permitem essa conclusão.
Esse é um dos temas de O andar do bêbado: Como o acaso determina nossas vidas, de Leonard Mlodinow.
O livro apresenta conceitos de probabilidade e aleatoriedade a partir de situações concretas e mostra como nossa intuição pode falhar quando precisamos interpretar acontecimentos sob incerteza.
Nossa tendência de encontrar explicações
Uma das ideias que atravessam o livro é a dificuldade humana de reconhecer o papel do acaso.
Diante de uma sequência de resultados, procuramos padrões. Quando algo melhora, buscamos a decisão responsável pela melhora. Quando piora, procuramos a falha que provocou o resultado.
Essa associação pode estar correta. Também pode haver dados insuficientes para sustentá-la.
Em segurança da informação, auditoria e gestão de riscos, essa distinção é relevante. Considere algumas situações:
- um indicador de segurança melhora depois da implantação de um controle;
- uma organização passa meses sem incidentes relevantes;
- determinado tipo de evento aumenta em um trimestre;
- uma área apresenta resultados muito acima ou abaixo de seu histórico;
- uma previsão de risco se confirma algumas vezes consecutivas.
Cada situação pode ter uma causa identificável. A sequência observada, isoladamente, não demonstra qual foi essa causa.
Regressão à média e avaliação de resultados
Um dos conceitos abordados por Mlodinow é a regressão à média.
Resultados muito distantes do comportamento habitual tendem, em observações posteriores, a ser seguidos por valores mais próximos da média. Quando desconhecemos esse efeito, podemos atribuir a mudança a uma intervenção que ocorreu entre as duas medições.
O livro apresenta o caso dos instrutores de voo estudado por Daniel Kahneman. Os instrutores percebiam que alunos elogiados depois de um desempenho excepcional frequentemente pioravam na tentativa seguinte. Já aqueles criticados depois de um desempenho ruim costumavam melhorar.
A experiência parecia indicar que a crítica funcionava melhor que o elogio.
A regressão à média oferecia outra explicação: desempenhos excepcionalmente bons ou ruins tendiam a ser seguidos por desempenhos mais próximos do nível habitual do aluno. A mudança poderia ocorrer independentemente do elogio ou da crítica.
O exemplo é interessante para quem trabalha com indicadores.
Se uma métrica apresenta um resultado excepcionalmente ruim e, depois de uma ação corretiva, retorna ao seu nível histórico, quanto dessa melhora pode ser atribuído à ação?
A resposta exige mais evidências do que a simples sequência temporal dos acontecimentos.
Resultado e qualidade da decisão são coisas diferentes
Outra reflexão útil do livro está na relação entre competência, acaso e resultado.
Uma boa decisão pode produzir um resultado ruim. Uma decisão fraca pode terminar bem. Em ambientes com incerteza, avaliar a qualidade da decisão exclusivamente pelo resultado cria uma visão distorcida do processo.
Isso tem implicações importantes para gestão de riscos.
Uma organização pode aceitar conscientemente um risco depois de avaliar probabilidade, impacto, custo dos controles e alternativas disponíveis. Se o evento ocorrer posteriormente, sua ocorrência, por si só, não demonstra que a decisão original foi inadequada.
O caminho inverso também merece atenção. Anos sem um incidente grave não demonstram que os controles são suficientes ou que determinado risco foi estimado corretamente.
Resultado é evidência. Precisa ser interpretado dentro do contexto em que foi produzido.
O que isso tem a ver com segurança?
Segurança trabalha permanentemente com incerteza.
Incidentes de baixa frequência e alto impacto, ameaças em evolução, dados históricos incompletos e mudanças no ambiente tornam difícil estabelecer relações simples entre causa e efeito.
Por isso, algumas perguntas são úteis ao analisar métricas e decisões:
- O período observado é suficiente para sustentar a conclusão?
- Existe uma relação causal ou apenas uma correlação?
- O resultado está dentro da variação esperada?
- Houve alguma mudança estrutural ou estamos observando uma oscilação?
- A avaliação considera apenas os casos conhecidos?
- Estamos julgando a decisão com as informações disponíveis na época ou com aquilo que descobrimos depois?
Essas perguntas não eliminam a incerteza. Ajudam a evitar certezas que os dados ainda não sustentam.
Uma leitura sobre como interpretamos evidências
O andar do bêbado não é um livro de segurança da informação ou gestão de riscos. É justamente essa distância que torna a leitura interessante para essas áreas.
Mlodinow discute probabilidade, acaso, regressão à média, percepção de padrões e os erros que cometemos ao interpretar acontecimentos incertos. São temas presentes sempre que usamos dados passados para explicar o que aconteceu ou estimar o que pode acontecer.
Talvez uma das provocações mais úteis da leitura seja simples: diante de um padrão aparentemente claro, vale perguntar quanto dele está realmente nos dados e quanto foi acrescentado pela nossa necessidade de encontrar uma explicação.
Para quem trabalha com risco, auditoria, segurança ou tomada de decisão, recomendo a leitura.