Yahoo: Pages manquantes? (4)

[Version anglaise - English version]

NCSA a publié un démenti assez cinglant sur la comparaison Google/Yahoo qui avait fait si grand bruit il y a quelques jours [version originale]. Hier, la page était remplacée par l'avertissement suivant:

The following study was completed by two of Professor Vernon Burton's students at the University of Illinois. Though one of the students previously worked with Professor Burton at the National Center for Supercomputing Applications (NCSA), the study was done outside the scope of any NCSA core projects. When first published online, staff at the NCSA noted several issues with the study, and some revisions have been made to the document to reflect several of these concerns. Changes are detailed at the bottom of this page.

Please note again that this study is not an NCSA publication and was not conducted as part of any NCSA project or under the supervision of NCSA.

A verification study is currently in progress that addresses the presence of "wordlists" and "dictionaries" in the search results that many rightly point out could count as a source of bias. The new study filters out any dictionary or wordlist results. Preliminary results (from 7000 test queries) indicates that the results of this verification study confirms the conclusions of this study, but final results are still forthcoming.

Aujourd'hui, une nouvelle version révisée a été mise en ligne. Il est assez intérressant de constater que le Prof. Vernon Burton a disparu en tant que co-auteur, laissant ses deux étudiants seuls sur le champ de bataille. Les affiliations au NCSA ont aussi été enlevées.

Dans cette nouvelle étude, les auteurs tirent toujours deux mots au sort dans le dictionnaire ispell mais excluent un troisième mot aléatoire de la requête (à l'aide de l'opérateur d'exclusion -), dans l'espoir d'éliminer les listes et le spam des résultats. Par exemple, ils utilisent la requête switchers trophoblast -agnus. Ils trouvent ainsi que Google retourne toujours plus de résultats (un peu moins que précédemment).

Malheureusement cette nouvelle stratégie ne fait pas disparaître le bais. Des listes de mots et du spam sont toujours présents dans les résultats, comme on peut le vérifier aisément sur n'importe laquelle de leur requêtes. Voici par exemple les résultats que me donne Google ce matin pour switchers trophoblast -agnus: tous les documents sauf un sont du déchet.

Yahoo ne renvoie rien sur la même requête, et rate donc le seul document pertinent renvoyé par Google [celui-ci]. Il s'avère que ce document est un long fichier pdf, qui est pourtant dans la base de données de Yahoo [voir ici]. S'il n'est pas retrouvé c'est parce que Yahoo indexe les longs documents de façon beaucoup moins profonde que Google (voir discussion dans mon billet précédent). Le fait que de tels documents ne soient pas retournés sur certaines requêtes ne signifie pas que Yahoo mente sur le nombre de documents indexés (ce qui est l'objet du débat). Les auteurs ne prennent pas en compte non plus la différence dans les stratégies de filtrage (voir ici).

En conclusion, cette nouvelle étude est tout aussi faussée que la première. Elle continue à compter de nombreux documents sans intérêt et ne se pose même pas la question des autres biais qui ont été signalés.

Je trouve assez étonnant qu'une étude aussi défaillante puisse faire ainsi le tour de la blogosphère, et être citée partout avec autant d'excitation, même par le respectable New York Times. Heureusement un ou deux bloggeurs vigilants étaient sur le pont...