Porque você só precisa testar com 5 usuários

Jakob N ie lsen
criado em 18/03/2000; traduzido em 03/01/25 – versão PDF da página original Why You Only Need to Test with 5 Users;

Sumário: Testes de usabilidade elaborados são um desperdício de recursos. Os melhores resultados vêm de testes com 5 usuários (não precisa de mais) e com o máximo de pequenos testes que você puder pagar.

Este site é uma homenagem ao Grupo NNG, com tradução livre feita por mim a partir dos artigos produzidos no site oficial.
Este artigo foi traduzido a partir da página: Why You Only Need to Test with 5 Users
NN/g Nielsen Norman Group – https://www.nngroup.com

Neste Artigo

Introdução

Design Interativo

Por que não testar com um único usuário?

Quanto testar mais usuários

Artigos relacionados

Cursos Relacionados
Teste de usabilidade
Planejamento, condução, e análise dos seus próprios estudos, pessoalmente ou remotamente.
● Pesquisa

Introdução

Algumas pessoas acham que usabilidade tem alto custo e complexidade, que os testes com usuários deveriam ser reservados apenas para raros projetos de web design, com grande orçamento e generoso tempo de desenvolvimento. Isso não é verdade. Testes de usabilidade elaborados são um desperdício de recursos. Os melhores resultados vêm de testes realizados com não mais que 5 usuários, rodando o maior número de testes menores que você puder pagar.

Com uma pesquisa prévia, Tom Landauer e eu mostramos que o número de problemas de usabilidade encontrados em um teste de usabilidade com n usuários é:

onde N é o total de número de problemas de usabilidade no design e L é a proporção dos problemas de usabilidade descobertos ao testar com um usuário. O típico valor de L é 31%, uma média calculada através de um grande número de projetos estudados. Traçando a curva para L=31%, obtemos o seguinte resultado:

A verdade mais impressionante desta curva é que não teremos nenhum resultado se não falarmos com ninguém, ou seja, zero usuários retornam zero insights.

No momento em que você coleta dados de um único teste de usuário, o seu entendimento aumenta e você já aprendeu quase um terço do que há para saber sobre a usabilidade do design. A diferença entre zero e um mínimo de dados é surpreendente.

Quando você testa com um segundo usuário, descobrirá que esta pessoa repete algumas coisas que o primeiro usuário fez, resultando em uma sobreposição no que foi aprendido. As pessoas são definitivamente diferentes, então também haverá algo novo que o segundo usuário fez (e você não tinha observado no primeiro usuário). Desta forma o segundo usuário acrescenta uma certa quantidade de novos entendimentos, mas não chega perto do aprendizado obtido com o primeiro usuário.

Um terceiro usuário vai repetir muitas coisas que você já tinha observado com o primeiro ou segundo usuário, inclusive algumas coisas que você percebeu m ambos. Adicionalmente, o terceiro usuário vai gerar uma pequena quantidade de novos dados, mesmo que não seja tanto como o primeiro e o segundo geraram.

Quanto mais usuários você adicionar, menos aprendizado você terá porque continuará analisando as mesmas coisas repetidamente. Não há uma necessidade real para ficar observando a mesma coisa inúmeras vezes, e você vai se sentir motivado a voltar à prancheta para redesenhar o site e eliminar os problemas de usabilidade.

Depois do quinto usuário, você perderá o o seu tempo observando os mesmos achados repetidamente, mas não aprenderá nada de muito novo.

Design Interativo

A curva claramente mostra que você precisa testar ao menos com 15 usuários para descobrir todos os problemas de usabilidade no design. Então porque foi recomendado testar com um número muito menor de usuários?

O principal motivo é que é melhor distribuir o seu orçamento para testes de usabilidade entre muitos testes menores, ao invés de gastar tudo em um teste único, com estudo elaborado. Vamos supor que você tenha recursos para 15 clientes representativos e precisa fazê-los testar o seu design. Ótimo, divida o seu orçamento em 3 estudos com 5 usuários cada.

Você quer rodar múltiplos testes porque o verdadeiro objetivo da engenharia de usabilidade é melhorar o design e não apenas documentar suas fraquezas. Depois que o primeiro estudo com cinco participantes encontrar 85% dos problemas de usabilidade, você vai querer corrigir estes problemas em um redesenho.

Depois de criar um novo design, você precisará testar novamente. Embora tenha dito que o redesenho deveria “corrigir” os problemas encontrados no primeiro estudo, a verdade é que você acha que o novo design vai superar os problemas. Mas uma vez que ninguém é capaz de desenhar uma interface do usuário perfeita, não há garantia que o novo design vai de fato corrigir os problemas. Um segundo teste descobrirá se as correções funcionaram ou não. Isso sem falar que, ao apresentar um novo design, sempre há o risco de introduzir um novo problema de usabilidade, mesmo que o o antigo já tenha sido corrigido.

E também, o segundo estudo com 5 usuários descobrirá a maioria dos 15% de problemas originais de usabilidade restantes que não foram encontrados na primeira rodada de testes. (Ainda há 2% de problemas originais deixados – eles terão que esperar até o terceiro estudo para serem identificados)

Finalmente, o segundo estudo será capaz de investigar mais a fundo a usabilidade da estrutura principal do site, avaliando questões como arquitetura de informação, fluxo de tarefas e adequação às necessidades dos usuários. Essas questões importantes são frequentemente ignoradas nos estudos iniciais onde os usuários são impedidos por problemas estúpidos e superficiais de usabilidade que os impedem de realmente explorar o site.

Desta forma o segundo estudo servirá tanto como garantia de qualidade do resultado do primeiro estudo, como ajuda para fornecer entendimentos mais profundos. O segundo estudo vai sempre conduzir para uma nova (e menor) lista de problemas de usabilidades a serem corrigidos em um redesenho. E o mesmo insight se aplica para este redesenho: nem todas as correções funcionarão; Alguns problemas mais profundos não serão descobertas depois de limpar a interface. Portanto, um terceiro estudo também será necessário.

Ao final, a experiência do usuário será aprimorada muito mais por 3 estudos com 5 usuários cada do que um monstruoso estudo único com 15 usuários.

Por que não testar com um usuário único?

Você pode pensar que 15 estudos com um usuário único seriam ainda melhores que 3 estudos com 5 usuários. A curva mostra que nós aprendemos muito mais do primeiro usuário do que com qualquer outro usuário subsequente, então por que continuar? Aqui temos duas razões:

há sempre o risco de ser induzido ao erro por um comportamento inconsciente de uma pessoa única que pode realizar certas ações por acidente ou por uma maneira não representativa. Mesmo 3 usuários são suficientes para obter uma ideia de diversidade no comportamento do usuário e entendimento sobre o que é único e o que pode ser generalizado.
a análise de custo-benefício para testes com usuários sugere que a proporção ideal seria por volta de 3 ou 5 usuários, dependendo do estilo do teste. Sempre há um custo fixo inicial associado ao planejamento e à execução do estudo: é melhor depreciar esse custo inicial através dos aprendizados obtidos com múltiplos usuários.

Quando testar com mais usuários

Você precisa testar com mais usuários quando um website possui vários grupos de usuários altamente distintos. A fórmula só é válida para comparar equivalentes que utilizarão o site de maneiras bastante semelhantes.

Se, por exemplo, você tem um site que será utilizado tanto por crianças como por pais, então os dois grupos de usuários terão comportamentos suficientemente diferentes que se torna necessário o teste com pessoas de ambos os grupos. O mesmo seria verdadeiro para um sistema destinado a conectar agentes de compras com a equipe de vendas.

Mesmo quando grupos de usuários são muito diferentes, ainda haverá grandes semelhanças entre as observações dos dois grupos. Afinal, todos os usuários são humanos. Além disso, muitos dos problemas de usabilidade estsão relacionados à maneira fundamental de como pessoas interagem com a web e à influência de outros sites no comportamento do usuário.

Ao testar múltiplos grupos de usuários distintos, você não precisa incluir tantos membros para cada grupo, assim como faria em um teste único, de um grupo únicos de usuários. A sobreposição entre as observações garantirá um melhor resultado ao testar com um número menor de pessoas em cada grupo. Eu recomendo:

3 a 4 usuários em cada categoria se for testar com 2 grupos de usuários
3 usuários em cada categoria se for testar com 3 ou mais grupos de usuários (você sempre quer pelo menos 3 usuários para garantir que cobriu a diversidade de comportamento dentro do grupo)