Moteurs : Folles duplications (1)

[Version anglaise - English version]

Vous avez sans doute remarqué que je ne parle plus guère des comptes de Google. Nous avons vu au fil des mois que les nombres de résultats retournés étaient dans bien des cas fantaisistes [1], et que la notion même de nombre de pages indexées commençait à s’obscurcir avec les métamorphoses récentes du Web (spam, duplications, pages dynamiques, etc.) [2, 3, 4]. Google ne mentionne d’ailleurs plus de taille d’index en page d’accueil [5]. Néanmoins, le moteur, comme ses concurrents, continue à afficher le nombre de pages indexées pour chaque requête, et l’on peut en tirer des enseignements intéressants sur les stratégies des moteurs.

A titre d’exemple, je vais vous relater une petite expérience que j’ai faite récemment, et que je trouve pleine d’enseignements. Vous vous souvenez peut-être que j’ai salué il y a quelque temps la naissance du mot ségolisme. Mon billet date du 1er juin, et je pense que le mot est apparu sur le Web dans le courant du mois de mai. Or, au 1er juin, Google retournait déjà 24000 résultats (comme cela a été remarqué dans un commentaire par Vicnent). La progression semblait un peu rapide pour un mot qui venait de naître, et je doutais, bien évidemment, qu’elle reflétât la progression réelle de son utilisation par les internautes.

Vous savez sans doute que Google affiche un certain nombre de documents sur le premier écran de résultats, mais que lorsqu’on avance dans les écrans de résultats successifs (une bonne idée est de régler le nombre de résultat par écran sur 100 dans les préférences), il arrive qu’on ait bien moins de résultats qu’annoncé. Ainsi, pour ségolisme, Google ne retournait au 1er juin que 200 résultats, annonçant sur le dernier écran :

Pour limiter les résultats aux pages les plus pertinentes (total : 200), Google a ignoré certaines pages à contenu similaire. Si vous le souhaitez, vous pouvez relancer la recherche en incluant les pages ignorées.

J’avais mentionné ce comportement lors de la fameuse bataille Google-Yahoo, l’été dernier. Les moteurs ont des stratégies de plus en plus élaborées de « dédoublonnage », qui permettent d’éliminer les duplications ou quasi-duplications dans la présentation des résultats, et c’est tout à fait souhaitable du point de vue de l’utilisateur ! Néanmoins, la proportion de duplications supposées est extrêmement élevée dans certains cas, comme dans celui de ségolisme. Au 1er juin, la proportion de « pages similaires » selon Google était de 99,2% pour ce mot (23800 / 24000).

J’ai noté chaque jour du mois de juin la façon dont les deux nombres évoluaient (ne vous inquiétez pas, j’ai des outils qui font ça automatiquement !). Les graphiques ci-dessous donnent respectivement l’évolution des nombres de résultats bruts et dédoublonnés :

Avec pages similaires

Sans pages similaires

On voit que le nombre de documents indexés (si l’on veut bien croire les chiffres de Google, bien entendu) est monté jusqu’à 322 000 le 11 juin, pour redescendre ensuite à 52 200 le 1er juillet, avec plusieurs oscillations. Le nombre de résultats dédoublonnés est resté, lui, inférieur à 500 (maximum de 469 le 23 juin). La proportion de « pages similaires » est montée à 99,9% autour du 10 juin, ce qui est tout de même étonnant.

Que peuvent donc bien être toutes ces pages considérées comme similaires ? Un examen détaillé montre qu’il s’agit principalement des versions RSS d’une même page, de pages d’archives (il est courant qu’un blog présente le même billet en version isolée et en archive hebdomadaire ou mensuelle), de versions avec et sans commentaires de billets, et de liens de type « trackback » ou « derniers commentaires postés », qui sont eux aussi communs sur les blogs. Ainsi, le mot ségolisme a été repris sur un billet sur la plateforme Agoravox, et pendant un temps, les milliers de billets qu’elle contient ont tous, automatiquement, comporté le mot ségolisme, sans compter les commentaires qui font tous l’objet d’une page dynamique séparée (« signaler un abus »). Au 1er juillet, le seul site Agoravox est responsable de 15 200 résultats sur les 52 200 que retourne Google. Une recherche sur le site lui-même montre que seuls 392 documents contiennent ségolisme et que la plupart sont des commentaires qui ne contiennent ce mot que dans le titre : un seul billet l'a utilisé, le billet original !

Chez Yahoo, la situation est analogue, bien que moins exacerbée. Les deux diagrammes ci-dessous correspondent à nouveau, respectivement, aux résultats avec et sans « pages similaires » :

Avec pages similaires

Sans pages similaires

Yahoo a atteint un maximum de 15 900 pages indexées au 11 juin, donc près de 20 fois moins que Google. Sans « pages similaires », le compte maximum de 474 a été atteint le 17 juin. Il est intéressant de noter :

• qu’une fois dédoublonnés, les comptes de Google et de Yahoo sont à peu près du même ordre de grandeur;
• que les courbes de Yahoo sont beaucoup plus stables que celles de Google.

Le deuxième point m’incite une fois de plus, à préférer l’utilisation de Yahoo à celle de Google dès que des analyses quantitatives sont en jeu.

Le nombre de pages retournées sans « pages similaires » semble être une source intéressante de données pour des études quantitatives, apparemment plus proche du nombre de documents véritablement originaux. Petit inconvénient, les moteurs ne donnent pas directement ce résultat sur le premier écran, ou dans leurs API, et il faut des automates plus compliqués pour le recueillir, avec un temps de réponse plus important. De plus, lorsque le nombre « sans pages similaires » dépasse 1000 (le nombre maximal de pages retournées par Google et Yahoo), il n’est simplement pas accessible.

Cet exemple montre en tous cas de façon éclatante combien le problème des duplications, et des nouvelles fonctionnalités du Web, liées au blogs et au forums, en particulier (archives, trackbacks, commentaires, etc.) peut avoir un impact dramatique sur les comptes fournis par les moteurs, puisqu'il peut y avoir pratiquement un facteur 1000 entre le nombre de documents originaux et le nombre de résultats retourné. Tous ceux qui utilisent les moteurs (Google en particulier) pour des études quantitivatives devraient avoir ces phénomènes présents à l’esprit. Les conclusions tirées des chiffres bruts peuvent être totalement aberrantes.

---

Lire la suite

• Moteurs: Folles duplications (2)