Testes sob controle

Liberar uma versão, não importa se um Wizard of Oz, um MVP, MMP, Beta ou Release incremental, exige uma reflexão sobre o quanto é importante acompanhar mais de perto seus desdobramentos. Liberar uma versão importante para validação ou comercialmente e ficar apenas aguardando que alguém entre em contato ou que os números sejam gerados não chega a ser uma estratégia.

É claro que estes testes podem e devem ter baterias iniciais automatizadas, proporcionando testes de carga, de stress, simulando funcionalmente um ou milhares de usuários, sequenciando-as, mas esses testes não eliminam o valor de testes com pessoas, onde teremos um viés de experiência do usuário, de usabilidade, que geram feedbacks, insights e percepções variadas.

DICA: Em meio ao projeto é preciso valorizar soluções com uma boa experiência, intuitivos, mas se identificado pelo perfil da solução ou dos clientes ser preciso antecipar-se, criar e liberar tutoriais, vídeo-tutoriais, podcasts, até mesmo manuais se for o caso … é importante fazê-lo em algum nível, estas peças e materiais as vezes fazem parte da solução e devem ser liberados conjuntamente.

A TEMPO: Chamar algo de MVP, uma versão mínima com o objetivo de validar hipóteses e não obter feedbacks é um desperdício que pode confundir e gerar stress desnecessário se na prática ela for apenas uma versão comercial liberada. Um MVP pressupõe um grande interesse no monitoramento, porque não é uma versão comercial, mas uma versão excepcional com foco em validação de hipóteses.

SOMBRA

É quando colocamos alguém ao lado o usuário para visualizar a operação, anotando de forma isenta tudo o que acontece. Chamado de shadowing, pode ser usada em diferentes momentos e com diferentes objetivos, mas pode ser útil quando do lançamento para acompanhamento das impressões, dificuldades e insights de clientes-chave.

MONITORES

É possível treinar monitores, algumas empresas chamam de integradores ou replicadores, de forma que ao ser liberada uma versão os usuários ou clientes tenham perto de si, presencialmente, alguém em condições de apoiar, ajudar e colher informações sobre estes primeiros contatos. Em grandes empresas é uma estratégia bastante utilizada, havendo a seleção prévia de monitores em cada área, andar, prédio, … conforme necessidade e valor que agrega.

ROTEIRO COM CHECKLIST

É possível enviar aos usuários ou clientes um roteiro auto-explicado contando com checklists ou passo a passos, uma forma de garantir que logo no primeiro dia todos as principais jornadas da solução sejam usadas por um número X de profissionais. É uma forma simples e de baixo custo para acelerar a geração de dados e feedbacks.

Já participei de muitos, ainda em um ambiente de dados controlados, onde o roteiro tinha horários para ações, assim um atendente abria um voucher as 16Hrs, porque no roteiro de um aprovador tinha uma ação de entrar e aprová-lo as 16h05 e alguém do financeiro tinha uma tarefa as 16h10 para quitação, com uma atividade de controle e auditoria acontecendo na controladoria as 16h15.

Lembro dos testes pré-eleições na RBS. Em uma hora com equipes recebendo seus roteiros especializados, como atores em um filme a ser gravado, é possível simular todas as situações de interesse e garantir o máximo de situações previsíveis, oferecendo algum tempo para ações ao acaso.

FOCUS GROUP

As entrevistas de grupo focal constituem uma técnica de pesquisa bastante utilizada na área do Marketing. Trata-se de um método de pesquisa qualitativa, dada a ausência de medidas numéricas e análises estatísticas. Via de regra um grupo de convidados tem a apresentação ou acesso a uma versão de produto, serviço ou teoria, para então posicionarem-se de forma isenta e sem influências externas aos participantes, especialmente dos organizadores.

Eu tive a oportunidade de utilizar uma das raras salas construída especialmente para Focus Groups no estado em 2011. A sala contava com uma grande janela espelhada apenas de um lado para uma sala contígua onde ficava um time de UX, analistas de negócios e convidados. A sala em sí era atípica, contando com algumas câmeras de vídeo gerais e pontuais, na mesa os computadores e monitores tinham softwares de monitoramento da direção dos olhos, rastreamento do mouse, gravação, etc.

Quando as pessoas convidadas a participar chegavam, não tinham contato com o time que planejou o Focus, apenas com monitores que lhe passavam um roteiro de demandas previstas com um checklist e áreas para registro, ficando a disposição, mas sem interação ativa. Isto permitia uma análise de comportamento, da troca entre os participantes, dúvidas, dificuldades, insights, etc. Era um conceito fascinante de alto valor agregado.

BONIFICAÇÃO POR NÃO CONFORMIDADES

Já participei até de programas de bonificação por bugs encontrados quando uma versão importante estava para ser liberada. Ela era colocada em um ambiente pré-produção ao público interno à empresa e havia um bônus de R$X para cada bug encontrado. Era muito inusitado, porque em alguns minutos sempre entravam ocorrências, alguns colegas levavam muito a sério uma competição para saber quem ou quantos bugs eles encontravam.

DIÁRIO

É possível pedirmos que um grupo de key-users ou clientes-chave registrem em uma diário (físico ou digital) algumas horas ou dias de uso, buscando não desperdiçar nenhum sentimento, insight ou mesmo dificuldade. Não é o mesmo que aberturas de chamados, ele registra tudo o que o usuário acha pertinente, desde ideias, situações, dúvidas, riscos, oportunidades.