Moteurs : Google, Orange... et Ask
Dans la série des baromètres que je réalise régulièrement sur les moteurs de recherche (voir déc. 2005, mar. 2007, nov. 2007), j’ai décidé de tester un nouveau venu, du moins en France, Ask.com. La version française est disponible depuis février 2006. Elle est assez confidentielle (moins de 1% des utilisateurs) et aura peut-être eu une courte vie, mais ce n’est pas une raison pour ne pas s’y intéresser! J’ai également soumis au même panel d’utilisateurs le moteur d’Orange, Le Moteur, devrais-je écrire, puisque c’est le nom qu’il porte désormais. C’est cette nouvelle version qui est disponible sur les 2 portails, Voila.fr et Orange.fr. J'avais d'ailleurs testé l'ancienne version à deux reprises (déc. 2005, mar. 2007).
La méthodologie utilisée est identique à celle que j’ai déjà utilisée dans les tests mentionnés plus haut, de façon à rendre les résultats comparables. Elle a ses limitations, bien entendu, mais elle permet d’obtenir une photographie de la pertinence perçue à un moment donné, à compléter par d’autres éléments et appréciations. Vous trouverez une description plus précise ici, mais pour résumer rapidement, 75 utilisateurs (étudiants) ont posé chacun 20 requêtes qu’ils choisissaient librement dans 10 thèmes proposés de façon aléatoire (2 requêtes par thème, 1500 requêtes au total). L'étude a été réalisée les 19 et 20 mars.
Chaque utilisateur devait noter en aveugle la qualité du premier lien retourné par chacun des trois moteurs (c’est-à-dire qu’aucune information ne permettait d’identifier les moteurs). Les liens étaient présentés dans un ordre également aléatoire pour éviter un biais éventuel. 3000 pages ont donc été vues et évaluées. Après examen des pages, l’utilisateur était invité à saisir une note sur une échelle de 0 à 5 pour chacune.
Google est en tête, comme on pouvait s’y attendre, avec une très légère progression par rapport aux tests précédents (3,7 contre 3,6 en novembre 2007 et 3,5 en avril 2007).
La surprise vient d’Orange, qui a progressé de façon spectaculaire depuis l’année dernière (et il revenait d’ailleurs de bien plus loin...). LeMoteur gagne plus d’une demi-point, passant de la note moyenne de 2,5 à celle de 3,1. Ces résultats ne sont pas encore au niveau de Google et Yahoo, bien évidemment, mais ils sont très honorables: rappelons qu’en 2005, même Google et Yahoo atteignaient difficilement la note de 3 en premier lien. Ce n’est pas si loin dans le temps! Les résultats se resserrent donc, même s’il reste encore du chemin à parcourir pour Orange.
Quant à Ask, ses résultats sont à peu près au niveau de ceux d’Orange LeMoteur: 3,2 (contre 3,1 pour Orange). C’est évidemment un peu décevant pour un des plus vieux moteurs du Web (c’est le digne successeur d’Ask Jeeves, créé en 1996, dans les temps préhistoriques du Web et en tout cas avant Google!). D’autant que lorsqu’on analyse les résultats plus en détail, on s’aperçoit qu’Ask pousse à l’extrême la carte un peu facile de l’encyclopédie Wikipedia, dont j’ai déjà parlé ici. En novembre dernier, Google renvoyait 27% de ses résultats dans Wikipedia, et Yahoo 31%...
Google a sans doute compris le danger de cette stratégie (danger que je mentionnais en novembre, voir à la fin du billet), et a légèrement revu l’importance de Wikipedia à la baisse (24,6%). Mais Ask ne fait pas dans la dentelle. C’est presque un tiers des requêtes qui renvoient systématiquement à Wikipedia en premier lien (32,5%). Orange est plus modéré en la matière avec seulement 18,6%.
L’astuce Wikipedia permet manifestement de masquer une faiblesse dans la recherche Web proprement dite. En effet, tous mes tests montrent que les utilisateurs attribuent une bonne note aux résultats Wikipedia même s’ils ne répondent pas exactement à leur préoccupation. Ainsi, vous cherchez des résultats d’actualité sur — mettons — Carla Bruni-Sarkozy, et si le premier résultat est la page Wikipedia, vous aurez tendance à avoir un jugement positif, même si finalement, votre requête véritable (actu) n’est pas satisfaite.
Le détail des notes est intéressant à analyser. Les résultats Wikipedia sont toujours mieux notés que les autres, d’un point à un point et demi en moyenne selon les moteurs. Mais si l’on compare les moteurs sur les notes hors Wikipedia (là où le travail est réellement difficile...), on s’aperçoit que la très légère différence Ask – Orange s’estompe: en recherche pure, les deux moteurs ont exactement les mêmes performances.
L’avantage global (modeste: 0,1 point) observé en faveur de Ask provient exclusivement de son utilisation massive de Wikipedia en premier lien. Il est d’ailleurs amusant de noter qu’Orange obtient de meilleurs résultats que Ask sur Wikipedia (4,3 contre 4,0, Google étant à 4,4): même retourner la bonne entrée dans Wikipedia n’est pas si simple. Si LeMoteur d’Orange renvoyait lui aussi un tiers des résultats dans Wikipedia, une projection simple montre qu’il obtiendrait une note meilleure que Ask (3,3 contre 3,2), et réduirait son écart avec Google (de 0,6 à 0,4 point). Mais ce n’est pas un conseil que je leur donne. LeMoteur a beaucoup progressé, et c’est sur la recherche proprement dite qu’il va falloir continuer à marquer des points. Souhaitons-le: c’est notre intérêt à tous que Google ait des concurrents!
La méthodologie utilisée est identique à celle que j’ai déjà utilisée dans les tests mentionnés plus haut, de façon à rendre les résultats comparables. Elle a ses limitations, bien entendu, mais elle permet d’obtenir une photographie de la pertinence perçue à un moment donné, à compléter par d’autres éléments et appréciations. Vous trouverez une description plus précise ici, mais pour résumer rapidement, 75 utilisateurs (étudiants) ont posé chacun 20 requêtes qu’ils choisissaient librement dans 10 thèmes proposés de façon aléatoire (2 requêtes par thème, 1500 requêtes au total). L'étude a été réalisée les 19 et 20 mars.
Chaque utilisateur devait noter en aveugle la qualité du premier lien retourné par chacun des trois moteurs (c’est-à-dire qu’aucune information ne permettait d’identifier les moteurs). Les liens étaient présentés dans un ordre également aléatoire pour éviter un biais éventuel. 3000 pages ont donc été vues et évaluées. Après examen des pages, l’utilisateur était invité à saisir une note sur une échelle de 0 à 5 pour chacune.
Google est en tête, comme on pouvait s’y attendre, avec une très légère progression par rapport aux tests précédents (3,7 contre 3,6 en novembre 2007 et 3,5 en avril 2007).
La surprise vient d’Orange, qui a progressé de façon spectaculaire depuis l’année dernière (et il revenait d’ailleurs de bien plus loin...). LeMoteur gagne plus d’une demi-point, passant de la note moyenne de 2,5 à celle de 3,1. Ces résultats ne sont pas encore au niveau de Google et Yahoo, bien évidemment, mais ils sont très honorables: rappelons qu’en 2005, même Google et Yahoo atteignaient difficilement la note de 3 en premier lien. Ce n’est pas si loin dans le temps! Les résultats se resserrent donc, même s’il reste encore du chemin à parcourir pour Orange.
Quant à Ask, ses résultats sont à peu près au niveau de ceux d’Orange LeMoteur: 3,2 (contre 3,1 pour Orange). C’est évidemment un peu décevant pour un des plus vieux moteurs du Web (c’est le digne successeur d’Ask Jeeves, créé en 1996, dans les temps préhistoriques du Web et en tout cas avant Google!). D’autant que lorsqu’on analyse les résultats plus en détail, on s’aperçoit qu’Ask pousse à l’extrême la carte un peu facile de l’encyclopédie Wikipedia, dont j’ai déjà parlé ici. En novembre dernier, Google renvoyait 27% de ses résultats dans Wikipedia, et Yahoo 31%...
Google a sans doute compris le danger de cette stratégie (danger que je mentionnais en novembre, voir à la fin du billet), et a légèrement revu l’importance de Wikipedia à la baisse (24,6%). Mais Ask ne fait pas dans la dentelle. C’est presque un tiers des requêtes qui renvoient systématiquement à Wikipedia en premier lien (32,5%). Orange est plus modéré en la matière avec seulement 18,6%.
L’astuce Wikipedia permet manifestement de masquer une faiblesse dans la recherche Web proprement dite. En effet, tous mes tests montrent que les utilisateurs attribuent une bonne note aux résultats Wikipedia même s’ils ne répondent pas exactement à leur préoccupation. Ainsi, vous cherchez des résultats d’actualité sur — mettons — Carla Bruni-Sarkozy, et si le premier résultat est la page Wikipedia, vous aurez tendance à avoir un jugement positif, même si finalement, votre requête véritable (actu) n’est pas satisfaite.
Le détail des notes est intéressant à analyser. Les résultats Wikipedia sont toujours mieux notés que les autres, d’un point à un point et demi en moyenne selon les moteurs. Mais si l’on compare les moteurs sur les notes hors Wikipedia (là où le travail est réellement difficile...), on s’aperçoit que la très légère différence Ask – Orange s’estompe: en recherche pure, les deux moteurs ont exactement les mêmes performances.
L’avantage global (modeste: 0,1 point) observé en faveur de Ask provient exclusivement de son utilisation massive de Wikipedia en premier lien. Il est d’ailleurs amusant de noter qu’Orange obtient de meilleurs résultats que Ask sur Wikipedia (4,3 contre 4,0, Google étant à 4,4): même retourner la bonne entrée dans Wikipedia n’est pas si simple. Si LeMoteur d’Orange renvoyait lui aussi un tiers des résultats dans Wikipedia, une projection simple montre qu’il obtiendrait une note meilleure que Ask (3,3 contre 3,2), et réduirait son écart avec Google (de 0,6 à 0,4 point). Mais ce n’est pas un conseil que je leur donne. LeMoteur a beaucoup progressé, et c’est sur la recherche proprement dite qu’il va falloir continuer à marquer des points. Souhaitons-le: c’est notre intérêt à tous que Google ait des concurrents!
16 Commentaires:
Merci pour vos billets si intéressants que je lis depuis longtemps déjà... Pourquoi n'avoir pas testé le moteur Exalead lors de cette enquête ?
Simplement par manque de ressources humaines. J'ai ajouté un moteur par rapport à ma méthodo habituelle, mais 4 ça prend beaucoup de temps pour les utilisateurs, et à partir d'un certain point, on ne trouve plus de bénévoles... (c'est pour cela que je n'ai pas mis Yahoo cette fois-ci)
Mais je ne désespère pas de tester Exalead un de ces jours.
Une petite question : si ce que dit Exalead est vrai, pourquoi tester Ask ?
Bonjour Jean,
Quand cette étude a-t-elle été réalisée ? Car début avril, Google a connu une importante mise à jour ("google dance", pour résumer) et on constate des résultats très déplorables pour certaines requêtes. Qu'en pensez-vous ?
PS : belle info pour wikipédia, mais tenez-vous compte par ailleur de ce qu'on appelle "la recherche universelle", à savoir les autres services de Google ?
CMaussan> Justement, j'avais envie d'avoir un "instantané", comme on garde une photo souvenir -- dans le cas où l'hypothèse se confirme, bien sûr.
TomHtml> C'était avant, les 19 et 20 mars, j'aurais dû le préciser (je vais rajouter).
La "recherche universelle" c'est surtout de marketing, à mon avis. L'idée de mixer de façon organique les résulats de différents services, news, vidéos, blogs, etc. n'est ni spécialement originale, ni spécialement novatrice : c'est d'ailleurs ce qu'ils font depuis longtemps... Pour les tests, j'ai pris les résultats tels que les renvoient le google.fr.
Ok merci pour les explications.
Ce serait intéressant aussi de faire une séparation entre les requêtes d'actualité et celles qui ne le sont pas (exemple "flamme olympique éteinte" est plus d'actualité que "victor hugo")
Oui, il faudrait analyser plus en détail...
Est-ce qu'une différence de 0.1 point est vraiment importante ?
Au pifomètre, sur 1500 requêtes, on a une erreur statisitique de ~2% soit environs 0.1 point.
On peut peut-être discuter de l'existence d'erreur statistique dans ce cas, mais il y a certainement des utilisateurs plus sévères que d'autres dans leurs notations, ou plus consistants que d'autres, ou plus enclins à préférer Wikipédia que d'autres...
Loin de moi l'envie de dénigrer cette recherche que je trouve très intéressante, mais je me demande jusqu'où on peut interpréter les résultats.
Un utilisateur en République Populaire de Chine qui tape "Tibet jeux olympiques" sur son moteur favori verra-t-il débarquer chez lui le laitier à 6 h du mat' ?
Pablo> Non, la différence entre Ask et orange n'est pas statistiquement significative. Elle est suffisamment faible pour être due aux fluctuations d'échantillonnage. Ca va dans le sens de ce que je dis : pas de différence fondamentale de pertinence entre ces 2 moteurs.
Merci pour toutes ces informations, je suis souvent sur webrankinfo et il avait été annoncé que Voila travaillait sur "des évolutions des algorithmes d'indexation pour essayer d'améliorer la pertinence perçue". Je suis content pour eux et surtout pour nous, le but est atteint!
Je sais pas si vous connaissez veosearch, un métamoteur de recherche (Google, Ask, Yahoo..). C'est très sympa parce qu'en plus de donner les mêmes réponses que les grands, ils reversent une partie des recettes publicitaires à des associations humanitaires. Pour l'heure, ils ont récolté près de 15 000€!!!
Pas mal!!
et pourquoi n'avoir pas testé LiveSearch ? c'est quand même le 3e moteur de recherche dur marché Fr ... (et pas très loin de Orange/Voila)
Toujours le même problème : le coût humain. L'idéal serait de pouvoir faire à la fois Google, Yahoo, MSN, Orange, Ask, Exalead... Mais ça rallonge d'autant la durée pour les sujets (bénévoles). En gros 2 moteurs = une demi-heure, ce qui est parfait. 6 moteurs nous entraîne à 1h30 de test. Non seulement on ne trouve plus de bénévoles, mais en plus il y a des pbs de fatigue et de dégradation de la qualité. Il faut fractionner en plusieurs sessions, etc. Faisable, mais on passe à un stage industriel !
Bonjour
très intéressant comme étude. Surtout la partir concernant wikipedia, ainsi http://Wikiwix.com le moteur de recherche qu'édite ma société est donc considéré comme très pertinent puisque c'est l'un des premiers meta moteur de recherches sur les projets de la Fondation Wikimedia et ceux sur les 253 langues que comptent Wikipedia.
Cordialement
Martin Pascal
Enregistrer un commentaire