Prudência na hora de analisar métricas

Quem lida com métricas sabe como é complicado interpretá-las.  Loucos como eu que usam dois ou três sistemas de aferição em um mesmo site ficam expostos ao grande problema de ter que explicar ao cliente por que diabos cada sistema mostra um resultado diferente.  Pior que isso só  quando temos que desfazer a confusão que os clientes criam ao analisar por conta própria um relatório. São inúmeras as formas de extrair conclusões equivocadas de números e termos complicados.

Dois exemplos:

1. Clientes ficam enlouquecidos ao ver, no google analytics, uma “taxa de rejeição” com valores de 50% ou mais. Taxa de Rejeição é uma péssima tradução para “bounce rate”. Mede a porcentagem de visitantes que acessam apenas uma página do site e saem. Mas isso não é necessariamente um sinal de problema. Pelo contrário, do ponto de vista do usuário, quanto mais concentrada estiver a informação que ele deseja, melhor. As pessoas só navegam em várias páginas do seu site quando não encontram o que querem.

2. Gente com pouca experiência no meio costuma ser muito imediatista.  Cada queda nas visitas, provenientes ou não das oscilações sazonais que acontecem naturalmente, geram pavor e reações desnorteadas. Outros, cujos sites estão com visitação estabilizada, não estão considerando o aumento constante do número de internautas, portanto seu site deveria, no mínimo, crescer proporcionalmente.

uma heat map da home page da SBEM, gerado pelo CrazyEgg
heat map da home page da SBEM, gerado pelo CrazyEgg. Legal mas errado.

Até agora eu falei de métricas corretas, porém conflitantes. Existem também as fajutas.

A revista Locaweb, distribuída no último encontro promovido por este provedor no Rio de Janeiro, gasta duas páginas com o Alexa.com. Dá pra perceber que o objetivo da reportagem era mostrar um bom serviço de métricas, mas, para o desespero do repórter incumbido de fazer a reportagem do jeito que o editor mandou, o Alexa é uma porcaria que não funciona para sites nacionais. Essa triste constatação foi colocada logo no primeiro parágrafo.

Por que o Alexa não serve?

  1. Ele faz as medições através de um software – um toolbar para o Internet Explorer, e obviamente só considera os visitantes que usam esse toolbar.
  2. Apenas usuários do IE podem instalar o toolbar. Todos que usam o Firefox, ou o Safari, ou o Chrome,  ou o Opera ou acessam o site por dispositivos móveis  ficam de fora.
  3. A instalação do toolbar costuma ser bloqueada pelos programas anti-virus. O repórter só conseguiu instalar na sexta tentativa.

Outro exemplo de métrica fajuta pode ser encontrada no site de análises CrazyEgg. Ele fornece relatórios de heat map e outras coisas muito legais, mas os números que ele mostra são absurdamente errados. Em uma página que recebe, digamos, 1000 visitas por dia, o CrazyEgg só consegue contar 500. Imagino que seja por causa da demanda excessiva, visível claramente quando tentamos obter os relatórios, é necessária muita paciência – o site tropeça diversas vezes.

Portanto, muita prudência e caldo de galinha ao interpretar métricas desses sites que oferecem relatórios “confiáveis”.  Números mal interpretados na mão de gente incompetente e/ou de má fé pode gerar um desastre.


Publicado

em

, ,

por

Comentários

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *