Moteurs: Et Voilà ?

Les lecteurs fidèles de ce blog se rappellent sans doute que j’avais réalisé fin 2005 une étude comparative de cinq moteurs de recherche. Cette étude, publiée en février 2006 avait fait grand bruit car elle montrait que Google et Yahoo obtenaient des résultats similaires en termes de pertinence.

Dans cette étude, le moteur Voilà d’Orange (anciennement Wanadoo) se classait bon dernier, ce qui me désolait : j’ai à de multiples reprises déploré que l’accès à l’information mondiale soit contrôlé à peu près exclusivement par trois sociétés américaines (Google, Yahoo, MSN), et Orange me paraissait être une des rares sociétés françaises de taille à rivaliser avec les géants d’outre-Atlantique si elle s’en donnait les moyens.

Note moyenne des 10 premiers liens retournés, déc. 2005

Les équipes de recherche et développement d’Orange ont-elles été piquées au vif ? Toujours est-il que j’ai observé au fil des mois de nettes améliorations sur le moteur Voilà, qui étaient l’indication claire d’un investissement et d’une reprise en main du côté d’Orange.

Tout d’abord, l’interface a été améliorée. Elle se présente désormais sous forme de boîtes modulaires, qui renvoient directement, en plus des liens et extraits textuels, les images et vidéos liées à une requête donnée, sans que l’utilisateur ait à recliquer sur un lien ou un onglet comme dans le cas de Google et Yahoo. Mais surtout, le principal grief que je faisais au moteur a été pris en compte. Les liens commerciaux apparaissent désormais dans un cadre nettement séparé du reste des résultats, comme dans les autres moteurs. Auparavant, ces résultats, retournés par la base de données Overture, étaient mélangés aux autres, sans indication visuelle particulière, et dégradaient très nettement l’impression de pertinence pour l’utilisateur. En effet, comme j’ai déjà eu l’occasion de le montrer (voir ici), les résultats commerciaux sont rarement d’une très grande pertinence (c’est vrai pour tous les moteurs). C’est d’ailleurs une chose qui ne cesse de m’étonner, puisque la publicité est une composante majeure du modèle économique des moteurs. Or, lorsqu’une requête sur l’Abbé Pierre renvoie des offres de livres sur le travail de la pierre, par exemple, il s’agit plus de bruit que d’autre chose pour l’utilisateur (alors que des liens commerciaux sur des livres concernant l’Abbé Pierre seraient pertinents).

Au-delà de ces améliorations ergonomiques, il m’a semblé déceler au fil des mois une amélioration très nette de la pertinence proprement dite du moteur, accompagnée d’un changement radical du comportement de son robot-crawler, qui s’est mis à indexer les sites de façon plus fréquente et plus profonde. Pour en avoir le cœur net, j’ai mis en place un « blind-test » du type de celui que j’avais réalisé avec mes étudiants fin 2005. Il aurait évidemment été intéressant d’inclure tous les moteurs de la précédente étude, Google, Yahoo, MSN, Exalead et Voilà (Dir.com est tombé à l’abandon), mais mes moyens en temps et en main d’œuvre étant cette fois-ci plus limités, je me suis contenté de Voilà avec le leader du marché, Google.

Le protocole est analogue à celui de l’étude de 2005, avec une petite différence dans le nombre de liens examinés. En 2005 les utilisateurs jugeaient les 10 premiers liens retournés (c’est-à-dire la première page de résultats), mais cette procédure étant assez lourde, je me suis limité à l’examen du premier lien, qui est celui sur lequel les utilisateurs cliquent dans la grande majorité des cas. Je fais par ailleurs l’hypothèse que le premier lien étant normalement le plus pertinent pour un moteur donné, du point de vue statistique, il doit donner une image correcte de la pertinence relative des deux moteurs. Cette hypothèse est vérifiée pour Google (vor étude de 2005), et elle paraît l’être désormais pour Voilà, depuis la séparation nette des résultats commerciaux et des résultats issus du moteur proprement dit (le mélange de ces résultats aboutissait auparavant à une dégradation des premiers résultats présentés dans la page, et à un résultat optimal autour de la position 8, voir ici).

55 étudiants ont posé chacun 20 requêtes qu'ils choisissaient librement dans 10 thèmes proposés de façon aléatoire (2 requêtes par thème, 1100 requêtes au total) :

• Actualités
• Animaux
• Géo-voyages
• Littérature
• Musique
• Nature
• Célébrités
• Politique
• Santé
• Sports

Chaque étudiant devait noter en aveugle la qualité du premier lien retourné par chacun des deux moteurs (ces liens étaient présentés dans un ordre également aléatoire pour éviter un biais éventuel). 2200 pages ont donc été vues et évaluées. L’échelle de notation, de 0 (Totalement mécontent du résultat) à 5 (Totalement satisfait du résultat), était la même que dans l’étude précédente, de façon à rendre les résultats comparables.

L’amélioration de la pertinence du moteur Voilà est très nettement perçue par les utilisateurs, puisque la note moyenne qu’ils donnent au premier résultat retourné est passée de 0,5 à 2,5 (tracé « Voilà 1er » sur la figure). Même en comparant avec la note de 1,6 retournée par la meilleure position dans la page en 2005, l’amélioration reste notable (tracé « Voilà max » sur la figure), ce qui montre qu’elle n’est pas due seulement à la séparation des résultats commerciaux des résultats réels de la recherche, mais véritablement à un travail sur les algorithmes de classement (et sans doute sur la qualité du crawl).

Comparaison décembre 2005 – mars 2007

Le moteur Voilà se rapproche désormais du résultat qu’obtenait Google fin 2005 (note de 2,9 sur le premier lien). Il est intéressant de remarquer que dans le même temps, Google a progressé aussi, passant de la note de 2,9 à celle de 3,5. La course à la qualité entre les moteurs ne semble donc pas terminée. Pour le plus grand bien des utilisateurs, sans doute. En tout cas, je vais suivre l’affaire de près, et je referai probablement un blind-test d’ici quelque temps pour voir si la tendance se confirme.