Web: Petites études pornométriques (2)

[ Version anglaise - English version ]

J'ai montré dans le précédent billet que Google avait une vision bien à lui de ce que pouvaient être des pages à caractère pornographique. Google n'en faisait manifestement pas assez (voir ici). Maintenant, il semble bien qu'il en fasse un peu trop... De plus, l'intensité du filtrage semble assez différente selon les langues. Un examen un peu plus attentif montre que Google considère la version française de la Constitution Européenne comme "unsafe", mais pas la version anglaise. Cette constatation m'a incité à comparer le comportement de plusieurs moteurs sur les deux langues, français et anglais.

Les moteurs que j'ai retenus sont les mêmes que ceux qui ont servi à l'étude comparative que j'ai entreprise avec mes étudiants de la licence MASHS à Aix (voir 1, 2, 3, 4, 5) et dont je vous donnerai les résultats finaux dans les tout prochains jours (suspense...!). Il s'agit des trois "grands" américains: Google, Yahoo! et MSN, auxquels j'ai ajouté trois moteurs français, Exalead, Voilà et le très expérimental Dir.com. J'ai comparé, lorsque c'était possible, le comportement des moteurs sur le français et l'anglais: pour chacune de ces deux langues j'ai sélectionné 150 mots de façon aléatoire (en m'assurant tout de même qu'aucun n'était par accident un mot à connotation sexuelle). J'ai relevé pour chaque moteur le pourcentage de pages qui étaient suspectées de pornographie par chacun de moteurs. Les moyennes sont résumées par le diagramme ci-dessous:

Ce diagramme est plein d'enseignements. Le plus frappant est sans doute la très nette différence entre les langues. Le comportement des moteurs est beaucoup plus homogène sur l'anglais (encore qu'il varie tout de même presque du simple au double). En revanche, pour le français, les résultats vont de 2% pour Exalead à 10% pour Google. Est-ce à dire que certains moteurs (Exalead en particulier) filtrent moins bien les pages pornographiques que d'autres? C'est moins que certain: sur des requêtes "normales" comme celles qui ont été utilisées dans l'étude entreprise avec mes étudiants, tous les moteurs ont un comportement équivalent. En fait, le filtre est extrêmement performant pour tous les moteurs: au total, sur 4200 résultats retournés, seuls un ou deux sont de caractère franchement pornographique (et peut-être une petite poignée discutables, comme des échanges un peu chauds sur des forums).

L'autre point frappant est la différence de comportement pour un même moteur, lorsqu'il traite les deux langues. MSN, et surtout Google, filtrent beaucoup plus de pages en français qu'en anglais. C'est particulièrement net pour Google qui passe de 3,5% à 10,0%. A l'inverse, Exalead passe de 2,0% pour le français à 5,6% pour l'anglais. Je ne note pourtant pas de différence particulière en passant d'une langue à l'autre sur le même moteur.

L'explication de ces différences me semble être double. Tout d'abord, les moteurs en font certainement trop: ne sachant pas faire un travail très fin (c'est difficile, je le reconnais!), ils ont tendance à surfiltrer, peut-être en utilisant des critères autres que lexicaux (c'est manifestement le cas pour la Constitution Européenne avec Google). C'est une tendance générale, particulièrement chez Google: sous la pression des internautes, des filtres sont mis en place très vite, et évidemment, la seule façon de faire marcher un filtre quand on n'a pas une technologie linguistique très fine est de sortir sa plus grande louche, et d'écrémer généreusement. J'ai mentionné ce type de problème à propos du splog (ici et ici).

L'autre partie de l'explication vient du fait que les compétences linguistiques des moteurs sont très variables. J'ai déjà eu l'occasion de mentionner qu'à mon sens Google n'est pas très bon sur les langues autres que l'anglais (par exemple ici). Les résultats ci-dessus semblent le confirmer. A l'inverse, on voit qu'Exalead, moteur français, est meilleur sur le français que sur l'anglais. Yahoo! est à peu près stable d'une langue à l'autre.

En tous cas, que 10% des pages françaises disparaissent dans Google lorsque le filtre SafeSearch est activé me paraît un peu fort de café. Avec de telles stratégies, on est à peu près certain de ne plus être importuné par le porno-spam, mais combien de sites et de documents tout à fait corrects et légitimes passent-ils à la trappe? Bien sûr, ce sont principalement des sites de PageRank faible qui sont affectés (et c'est sans doute pour ça que personne ne proteste), mais tout de même...