Foram feitas duas baterias de testes. A primeira tinha como objetivo identificar gargalos nas aplicações. A Prime Control forneceu um relatório detalhado dos problemas e riscos identificados. A partir deste relatório, as diversas equipes de desenvolvimento e infraestrutura foram acionadas para promover ajustes e melhorias. Depois, a segunda bateria de testes validou os ajustes, indicando ganho de performance das aplicações e melhor uso dos recursos computacionais.
Ou seja, os sistemas foram otimizados e agora podem suportar uma quantidade maior de usuários, sem riscos de interrupção ou lentidão. Consultas do banco de dados foram otimizadas e também foi feito um melhor balanceamento dos servidores.
Também foram estabelecidas algumas metas de vazão para os sistemas, simulando a quantidade prevista de usuários para as datas comerciais. Um endpoint deveria atingir quatro vezes a vazão atual que era proporcionada pela aplicação. Em um teste de stress, este endpoint teria que suportar o triplo de requisições que estavam previstas para a primeira meta.
Para o cliente, ficou clara a necessidade de executar testes contínuos de performance independentemente de eventos como Black Friday. Com isso, surgiram outras demandas de testes de carga e stress para outras aplicações que compõem o ecossistema de tecnologia do cliente.
Ao longo de 5 dias, os testes manuais e os testes automatizados trabalharam lado a lado. Pudemos comparar suas performances. No quinto dia, os robôs executavam 80 baterias de testes completas, enquanto a equipe de testes manuais executou apenas 5. Os números não mentem! 8 horas de trabalho do robô equivalem a 128 horas de trabalho manual. Vitória esmagadora dos robôs!
Mas não se preocupe! Todos os QAs continuam bastante atarefados, agora com tarefas mais criativas e preventivas. A automação de testes é um sucesso.
Qualidade integrada ao Jira
Para fins de controle e auditoria, é fundamental que os testes gerem evidências. É por meio delas que os desenvolvedores podem investigar as causas dos bugs, além de fornecer indicadores importantes para medir a qualidade do software entregue.
No entanto, os logs e capturas de tela de cada passo dos testes eram feitos de forma manual. Este procedimento era muito desgastante, o que acabava gerando falhas, falta de evidências e com isso muito retrabalho.
A solução encontrada pela Prime Control foi o desenvolvimento de uma integração inteligente com o Jira, software da Atlassian que permite uma gestão avançada dos bugs e incidentes. Agora, a equipe de QA escolhe quais testes regressivos desejam executar e a integração inteligente atualiza o status desses processos no Jira, bem como anexa todos os logs e evidências de bugs.
A integração com o Jira gerou uma economia de 110 horas no processo antes realizado manualmente, que levava 120 horas. Portanto, o robô consegue executar todos os testes em apenas 10 horas.
Quatro das cinco pessoas que antes executavam o processo manualmente, foram realocadas para outras atividades. Agora, apenas uma pessoa é responsável por iniciar e monitorar todo o conjunto automatizado de testes regressivos, totalmente integrados ao Jira.
Os riscos de falta de evidência foram praticamente eliminados, uma vez que o processo é automático. Há maior confiabilidade para auditoria, já que logs de evidencias são adotadas e incorporadas ao Jira em cada execução.
Geração de massa de dados em apenas 2 horas? Que massa!
Massas de dados, como o próprio nome sugere, são conjuntos de dados fictícios ou reais utilizados para testar as aplicações. São utilizadas para preenchimento de campos, simulando a ação de um usuário real. Uma boa massa de dados é o primeiro passo para testes confiáveis.
O cliente não tinha um processo maduro e documentado para geração de massas para testes que envolviam faturamento para a área de logística. O conhecimento estava na cabeça das pessoas e não havia um padrão. Isso gerava a centralização e afunilamento de demandas, bem como atrasos e uma certa dependência de profissionais específicos.
O prazo para geração de um conjunto de massa de dados era de 5 dias úteis, em média. Caso a geração fosse feita de maneira ininterrupta, o cliente estimava que seriam necessárias 2 horas de trabalho contínuo para cada item desse conjunto.
A solução da Prime Control começou com a documentação do processo, através da produção de um fluxograma que considerasse todas as suas condições. Depois, foi iniciada a construção de um robô inteligente, construído totalmente com tecnologias open-source, livre de licenciamento e de fácil manutenção, para produção de massa de dados.
Os resultados impressionaram o cliente. Um único dia de trabalho do robô de geração de massas equivale ao prazo de 14 semanas de um profissional dedicado. É um ganho impressionante de performance, confiabilidade, escalabilidade e padronização.
Se um robô e um humano disputassem uma corrida, em 2 horas o humano teria entregado apenas 1 item do conjunto de massa, enquanto o robô teria entregado 70 itens prontos para uso.
A robotização desse processo reduziu drasticamente a quantidade de horas que uma demanda necessita. O robô interage perfeitamente com os demais sistemas, sem requerer customizações.
CoE de Performance
Os Centros de Excelência (CoE) são uma maneira de transmitir conhecimento, pois fornecem liderança, suporte, treinamento e melhores práticas em alguma área específica. Na parceria com a C&A, a Prime Control implantou um CoE de Performance, uma maneira eficiente de definir padrões e processos na realização de testes, disseminar conhecimento na equipe do cliente e empoderar os profissionais para que continuem fazendo mais e melhor. Em suma, o CoE de Performance deixa para o cliente um legado que se estende para além do tempo de execução do projeto.
A Pime Control forneceu um guia prévio para cada configuração de teste, definiu junto com o cliente qual a necessidade de infraestrutura para suportar picos de acesso às aplicações em datas especiais – como campanhas promocionais – e ainda os tipos de instâncias mais apropriadas para o trabalho.
A consultoria da Prime Control também trabalha com a equipe da C&A o nivelamento técnico de ferramentas e o perfil adequado de profissional para cada função. Tudo isso com foco nas regras do negócio para que o técnico e o estratégico andem juntos.
Ao estabelecer padrões por meio do CoE de Performance, o cliente tem infraestrutura adequada para o produto digital. E isso garante melhor experiência para o usuário, aumenta os lucros, reduz custos com mudanças e consegue prevê com bastante antecedência as alterações que precisam ser realizadas.
O cliente está muito satisfeito. Ele sabe que estar na moda é entregar uma experiência incrível para seu cliente, seja na loja, no app ou no website. A Prime Control tem orgulho de contribuir para este sucesso. A moda também é tech!