Um engano comum (e que você não vai mais cometer depois de ler este artigo) no ramo de desenvolvimento de software é acreditar que aumentar a automação de testes leva, necessariamente, a uma melhora nos resultados da organização.

E muitos gestores caem nesse engano por prestarem atenção demais em métricas de vaidade – sem dar a devida importância a métricas de impacto no negócio.

Vamos falar sobre esses dois tipos de métricas, como diferenciá-los, e também como focar no que realmente soluciona problemas e melhora resultados.

Vaidade x Impacto

É importante dizer que, apesar do nome depreciativo, métricas de vaidade têm seu valor e importância, contanto que estejam inseridas no contexto apropriado.

O problema acontece quando elas tomam o lugar de indicadores mais relevantes, e acabam escondendo situações negativas que precisam de atenção.

E o que são essas tais métricas de vaidade? São aquelas que, apesar da aparente importância, não estão ligadas solidamente aos objetivos da organização, ou não oferecem informações úteis para julgar o desempenho de uma iniciativa.

Eis alguns questionamentos que ajudam a identificar esse tipo de métrica, aplicados ao contexto de QA:

• As falhas identificadas nos testes são triviais ou de baixa importância?
• Os testes executados fazem parte de uma estratégia de ponta a ponta, ou são discretos demais para ter alguma relevância?
• Os testes executados têm qualidade, ou faltam dados robustos a eles?
• Será que não estão testando excessivamente, sem obter um aumento proporcional na qualidade do software?

Em contrapartida, métricas de impacto são aquelas que ajudam a medir a efetividade real das ações na organização e oferecem material apropriado para ajustar estratégias e fazer previsões.

Eficiência e Efetividade de Testes

O que coloca uma métrica na categoria “de impacto” é, como você pode concluir, sua ligação com objetivos concretos. Assim, para dar exemplos desse tipo de métrica, é preciso escolher um objetivo de negócio.

Dentro do universo da QA, podemos tomar como exemplo a rapidez na entrega de software e considerar duas ramificações:

Eficiência de testes

Tempo de execução de rastreio, taxa de execução e tempo de ciclo de testes são ótimas métricas para se iniciar a medição da eficiência dos testes – por serem ao mesmo tempo relevantes e simples de medir.

Tendo em vista a automação (crucial para a evolução da QA), há métricas mais específicas que vale a pena acompanhar: índice de automação; índice de falsos positivos; taxa de automação de dados de teste; e esforço de manutenção de testes.

Efetividade de testes

A ramificação anterior focava em progresso e velocidade. Esta, na qualidade dos resultados obtidos com os testes.

Entre as métricas mais relevantes, temos: taxa de aprovação/falha; requerimentos de cobertura de teste; e taxa de “vazamento de falhas” (em inglês, defect leakage, que diz respeito a falhas que deveriam ter sido detectadas em uma fase de testes, mas só foram detectadas em fases posteriores).

Também é interessante fazer um comparativo entre os bugs encontrados nos ciclos de testes manuais e os encontrados em ciclos de testes automatizados; e analisar quais riscos ao negócio estão sendo devidamente cobertos por testes automatizados.

Os relatórios

Falamos no começo que as métricas de vaidade têm valor se estiverem inseridas no contexto apropriado. E tal contexto certamente não é no topo dos relatórios: este lugar pertence às métricas de impacto, que contribuem de maneira relevante para a tomada de decisões e a avaliação de efetividade de estratégias.

As métricas de vaidade podem ajudar a fortalecer o impacto dos relatórios de uma maneira geral, pois ajudam a chamar a atenção e mostram dados que, mesmo de forma secundária, têm peso na organização.

Se você quer elevar a qualidade do seu software a um novo patamar, precisa do apoio de profissionais altamente qualificados. Clique aqui e entre em contato com um especialista Prime Control!