Moteurs: Liens ressuscités

Jerôme Charron a rebondi sur l'idée que le crawling est un art du compromis (en commentaire sur mon dernier billet, puis sur le blog Motrech). Remarques très intéressantes, à lire! Mais Jerôme va plus loin: surpris par mes résultats, il relance l'expérience sur Google avec son propre ensemble de requêtes, et obtient bien moins de liens morts. J'étais en déplacement quand j'ai vu ses résultats; je n'avais pas mes données sous la main, mais cela m'a tracassé: bug (toujours possible!) dans mes scripts? différents réglages de nos requêtes (j'ai limité aux parges francophones avec SafeSearch, pas Jérôme), différence de time-out? Problèmes de proxy?

Aussitôt rentré, j'ai examiné mes résultats en détail, et ma surprise a été assez grande: aucune de ces hypothèses n'était la bonne. Le coupable était Amazon! Pour une raison inderterminée, www.amazon.fr renvoyait un code d'erreur au moment où j'ai lancé mon expérience, la semaine dernière, et comme c'est un des sites les plus retournés par les requêtes sur Google, ce problème a eu un impact dramatique sur les résultats: sur les 26 erreurs que j'avais comptabilisées concernant Google, 17 étaient dues au seul site www.amazon.fr! Même chose chez Yahoo: 23 erreurs sur 33. Pour les autres moteurs, l'impact était plus limité: il y a visiblement des stratégies d'alliances commerciales différentes chez les uns et chez les autres...

Aujourd'hui, les mêmes URL chez Amazon répondent... J'ai donc relancé mes requêtes et voici les nouveaux résultats (sont toujours comptabilisés comme erreurs les codes HTTP 4xx et 5xx). Google et Yahoo passent en tête, le reste est quasiment inchangé.

Je faisais part l'autre jour de ma surprise de voir MSN et Voila en tête. Le nouveau diagramme correspond bien plus à mon intuition initiale. Pour autant, cette estimation est-elle meilleure? Ce n'est pas si évident: après tout, la situation de l'autre jour a bien existé, et un internaute qui aurait interrogé les moteurs à ce moment précis aurait eu un taux d'erreurs bien plus élevé chez Google et Yahoo. Le tout est de savoir si de tels incidents ont des chances d'apparaître fréquemment. Si l'on regarde la distribution des domaines des différentes URL uniques de mon enquête, on s'aperçoit qu'ils ont un comportement en loi de puissance, comme beaucoup de choses sur le Web:

Quelques domaines se taillent la part du lion dans les résultats. Amazon n'est que second. Le site le plus cité est Wikipedia. On trouve ensuite des sites de pages personnelles (Wanadoo, Lycos, Chez) , des sites spécialisés (Allocine, Doctissimo), des sites de forums (Aceboard), etc. Lorsque des problèmes affectent les sites de la queue de la distribution, l'incidence globable est négligeable; par contre lorsqu'un site de tête est touché, l'incidence sur les résultats est très importante. Bien sûr, on peut penser que le taux d'incidents est faible sur les sites très populaires, mais il n'est certainement pas nul (et Wikipedia a justement connu bien des difficultés, même si la situation semble s'être considérablement améliorée depuis quelque temps).

Globalement, l'instabilité des résultats est plus grande que ce à quoi je m'attendais. Même en ne comptant pas le cas Amazon, près du quart des URL mortes dans ma deuxième expérience étaient vivantes l'autre jour, et inversement près du quart des URL mortes l'autre jour se sont réveillées:

[URL uniques hors Amazon.fr]

Tout ceci montre la difficulté de l'exercice... Pour estimer de façon sérieuse la proportion de liens morts dans les résultats, il faudrait faire une moyenne sur un nombre suffisant de relevés à quelques jours d'intervalle. Mais entre temps, les résultats retournés par les moteurs changeraient: il faudrait donc relancer tout le processus de requête à chaque fois (ce que je n'ai pas fait ici: j'ai conservé les résultats retournés l'autre jour).

En tous cas, merci à Jérôme de nous avoir donné l'occasion de réfléchir au problème (et en plus j'ai un bien bel exemple pour expliquer à mes étudiants la difficulté de l'estimation lorsque les événements ne sont pas aussi indépendants qu'on croit et lorsque les distributions sous-jacentes sont extrêmement asymétriques!).