Le benchmarking Witbe des sites et services Internet - Méthodologie
L'objectif des benchmarks Witbe est d'apporter des indicateurs concrets sur la disponibilité et les performances de chaque service testé et ce, du point de vue d'un observateur privilégié connecté à très haut débit sur de multiples opérateurs. La disponibilité et la rapidité relative de chaque site sont synthétisées par un indice de performance globale sur 100.

 

Benchmark de sites et services Internet - Disponibilité et performance de bout en bout - Parcours clients critiques
Méthodes des tests

Les mesures sont réalisées depuis les robots du réseau de métrologie Internet Witbe. Dotés du navigateur Microsoft Internet Explorer 7, les robots reproduisent les comportements des internautes suivant des scénarios prédéfinis
En fonction de l'objectif de l'étude, Witbe met en place différents principes de simulation du comportement de navigation :
- S'il s'agit d'évaluer la qualité d'accès à la home page, les robots Witbe téléchargent la home page complète (images, textes, etc) toutes les 15 min ou toutes les heures (précisée pour chaque étude), 24h/24.
- S'il s'agit d'évaluer une séquence fonctionnelle, Witbe met en œuvre des scénarios de navigation exécutés par les robots toutes les 30 minutes, 24h/24.

L'évaluation faite par Witbe prend en compte 3 critères fondamentaux :
- La disponibilité : le site répond-il et répond-il suffisamment rapidement ?
- La rapidité : quel est le temps de chargement de la page ou le temps total de déroulement du scénario ?
- L'intégrité (avec recherche de mots clés prédéfinis) : la page reçue correspond-elle bien à la requête de l'Internaute ?

En fonction de la nature des sites et de leur vocation nationale ou internationale, les mesures sont réalisées soit depuis 1 pays soit depuis plusieurs. Ces études sont réalisées grâce à la solution Witbe On Demand

Indicateurs de base

1. Le taux de réussite des tests
Il correspond au ratio : nombre de tests en succès/ nombre de tests réalisés. On considère comme test en succès, une mesure s'étant déroulée complètement, sans détection d'erreur et dans le délai imparti.


Witbe prend en compte tous les facteurs qui impactent la satisfaction des internautes :

- les temps de chargement dégradés
- les interruptions de service: résolution DNS ou connexion impossible, erreur de type 404, etc
- les problèmes d'intégrité du contenu de la page de test (absence des mots clés).

L'indice de qualité des sites prend en compte les 3 critères de la qualité perçue :
- La disponibilité : le site répond-il et répond-il suffisamment rapidement ?
- La rapidité : quel est le temps de chargement de la page ou le temps total de déroulement du scénario ?
- L'intégrité (avec recherche de mots clés prédéfinis) : la page reçue correspond-elle bien à la requête de l'Internaute?

2. Le temps total (de chargement de la home page ou de déroulement du scénario)
Il correspond au temps moyen nécessaire, constaté sur la période, pour réaliser la navigation programmée, exclusion faite des tests réputés en erreur.
L'indice de performance globale et les méthodes de classement
Le classement repose sur l'indice de performance globale (G), basé pour 2/3 sur la disponibilité des site (D) et pour 1/3 sur leur rapidité relative (R ).

1. L'indice de rapidité relative
Pour évaluer la rapidité d'un site, Witbe compare son temps de chargement :
- à l'état de l'art du secteur : le temps moyen calculé sur le panel ;
- à la meilleure pratique du secteur : le temps mesuré pour le site le plus rapide du panel.

Rs : La comparaison à l'état de l'art donne :
- 50 points au site dont le temps est égal à la moyenne
- 50*(écart à la moyenne) au site dont le temps est différent de la moyenne.

Rm : La comparaison à la meilleure pratique s'apparente à un bonus :
- Le plus rapide aura un bonus de 25
- Les autres auront un bonus de 25*(écart au meilleur) avec 0<25

Au final, l'indice de rapidité du site est R = Rs + Rm.

2. L'indice de disponibilité
L'indice de disponibilité est calculé sur la base du taux de réussite des tests.
D = (taux de réussite / 2) - Malus
La grille de Malus appliquée est la suivante :

Grille des malus/disponibilité
Taux de réussite
Malus
100,00 %
0
de 99,95 à 99,99 %
1
de 99,90 à 99,95 %
2
de 99,70 à 99,90 %
4
de 99,50 à 99,70 %
6
de 99,00 à 99,50 %
10
de 98,50 à 99,00 %
16
de 97,80 à 98,50 %
24
de 96,50 à 97,80 %
36
de 95,00 à 96,50 %
50
moins de 95,00 %
100


3. L'indice global
Pour chaque site, nous disposons ainsi d'un indice de performance global sur 100 : G = (R + 2D)/3.
 
© 2000-2009 Witbe - All rights reserved