Jean Véronis
Aix-en-Provence
(France)


Se connecter à moi sur LinkedIn Me suivre sur Twitter Facebook RSS

mercredi, janvier 26, 2005

Web: Comptes bidons chez Google ?



[8 fév - Lire la suite : Le mystère des pages manquantes de Google résolu ?]


Il y a quelques jours, j'ai montré que les opérateurs booléens de Google retournaient des nombres totalement aberrants, qui empêchaient toute utilisation sérieuse (à moins que l'on soit prêt à accepter que A OR B renvoie moitié moins de résultats que A tout seul, bien évidemment).

Mais j'ai trouvé pire, et bien plus dérangeant. Les nombres de résultats eux-mêmes sont aberrants, même si l'on n'utilise pas de recherche "avancée" (ou suppposée telle...). Regardez attentivement les deux copies d'écrans suivantes, et cherchez l'erreur :





Le premier écran est une requête pour the dans la totalité des pages Web (celles que Google indexe, bien sûr). Le chiffre rond de 8 milliards exactement est un peu suspect, comme cela a été remarqué à maintes reprises, mais ce n'est pas cela qui me dérange le plus. La requête pour the restreinte aux pages en anglais ne retourne que 88 millions des résultats, soit juste un peu plus de 1% du total. J'ai du mal à accepter un tel résultat, qui signiferait qu'environ 99% des occurrences de the se situent dans des pages autres qu'en anglais !

Mais je peux me tromper. Vérifions donc avec Yahoo! :





Le paysage est totalement différent ici, puisque 91% des occurrences de the se situent dans des pages en anglais, ce qui est tout de même plus conforme à nos intuitions.

Je ne suis pas prêt à accepter la réponse standard de Google ("nos chiffres ne sont que des estimations, des approximations, etc."). Lorsqu'on atteint des différences de cette ampleur, il ne s'agit plus d'approximation, et quelque chose d'autre de plus profond doit se cacher derrière les chiffres. J'ai donc essayé de déterminer la proportion exacte des pages en anglais dans l'index Google. Pour cela, j'ai choisi 50 "mots" qui sont selon toute vraisemblance relativement indépendants des langues: nombres, extensions de fichiers, protocoles (http, etc.), marques informatiques, etc. Ces mots apparaissent certainement dans d'autres langues que l'anglais, et bien qu'il puisse y avoir des variations individuelles, je ne m'attendrais pas à observer une relation systématique entre leur fréquence et leur présence dans des pages anglaises. Ou alors, s'il y en a une, elle sera intéressante à expliquer.

Les résultats sont résumés (en millions) dans la table ci-dessous (ils ont été obtenus le 25 janvier sur Google.com, depuis la France, et ils peuvent évidemment varier quelque peu selon les "data centers" qui reçoivent la requête):

GoogleWebEn%
14780671,4
www441050,21,1
2005240063,92,7
0218080,73,7
10214066,13,1
html160058,93,7
http135034,22,5
web98842,34,3
php88360,76,9
htm84653,56,3
200074762,98,4
10053657,210,7
pdf41753,112,7
yahoo27728,210,2
linux22231,714,3
jpg22132,414,7
mp321343,520,4
amazon20834,616,6
url20236,217,9
microsoft18724,913,3
100015741,726,6
google1501812
xml11924,920,9
xp10124,724,5
ibm81,625,731,5
txt8026,733,4
ftp7731,641
href74,124,132,5
perl51,42242,8
https49,321,543,6
gnu43,319,845,7
mozilla34,413,940,4
mpeg28,712,844,6
macintosh28,115,555,2
firefox23,610,444,1
wma15,55,0732,7
wav13,57,3654,5
ppt137,3456,5
altavista11,84,1935,5
rtf11,46,0853,3
ldap6,983,5651
csv5,822,8949,7
sgml5,232,5849,3
gopher2,921,5252,1
vba2,571,662,3
0x002,210,4219,1
ie62,050,7335,6
vb61,10,436
ffff1,070,437,3
0xff1,070,3229,8

J'ai affiché la relation entre la fréquence des mots et le pourcentage de pages en anglais dans le diagramme ci-dessous :



Ce diagramme est tout à fait inattendu, puisqu'on observe une loi de puissance entre le pourcentage et la frequence, qui résulte en une décroissance extrêmement rapide de la proportion des pages en anglais contenant une forme donnée quand la fréquence de cette forme augmente. Je veux bien accepter un léger biais, mais je ne vois rien qui puisse expliquer un effet de cette ampleur.

Comme je ne veux pas me reposer sur des intuitions, j'ai vérifié ce que nous dit Yahoo! pour les même 50 mots. Yahoo! et Google reconnaissaissent à peu près le même ensemble de langues, et bien qu'ils puissent différer quelque peu dans leur stratégie de crawling (ce qui peut entraîner de petites différences dans le diagramme), la tendance générale devrait être la même.

Or, elle est totalement différente chez Yahoo! :



On n'observe absolument aucune corrélation, et les mots apparaissent de façon aléatoire dans le diagramme, comme je m'y attendais. La droite de régression est plate, indiquant une proportion moyenne de 61% de pages en anglais dans l'index Yahoo!. Il y a donc quelque chose d'étrange chez Google. Pour y voir plus clair, j'ai esayé de "zoomer" l'axe des abcisses à l'aide d'une échelle logarithmique, et, de fait, le nouveau diagramme nous donne une meilleure idée de la situation :




Le diagramme se divise en deux parties, quelquepart entre 107 et 108. La partie de gauche se comporte exactement comme Yahoo! : il n'y a aucune corrélation entre la fréquence globale et la proportion anglais/Web. La droite de régression est plate (elle peut apparaître un peu courbée à cause de l'échelle logarithmique sur l'axe des abcisses) et elle indique une proportion d'environ 43% de pages en anglais. Le comportement selon une loi de puissance n'apparaît que dans la partie de droite du diagamme. Maintenant que la partie de gauche en a été extraite, la corrélation est extrêmement forte, puisque coefficient de détermination R2 atteint 96%. Le changement soudain autour de 0.5 x 108 et le R2 très élevé dans la seconde partie sont tous deux très difficiles à concilier avec un effet naturel. Il semble hautement probable que quelque chose d'artificiel est à l'oeuvre derrière ces comportements.

Quoi exactement ? C'est évidement difficile à déterminer. La cassure soudaine autour de 0.5 x 108 est consistante avec les chiffres de Mark Liberman dans son commentaire à propos de mon billet sur la logique Googléenne. Mark a reporté la relation X vs (X OR X) sur un diagramme pour un certain nombre de mots (que je reproduis ci-dessous par commodité). Il remarque un changement autour de 105 (ligne pointillée). Cependant, le diagramme montre une autre cassure, bien plus prononcée, autour de 0.5 x 108, comme dans mes données (je l'ai marquée en rose dans le diagramme de Mark). Les mêmes raisons pourraient bien être cachées derrière les deux problèmes.



Certains ont dit que Google avait effectivement "crawlé" 8 milliards de pages (ou même plus, comme le prétend Nathan Weinberg dans son billet sur InsideGoogle), mais n'aurait pas réellement indexé toutes les pages pour des raisons pratiques. L'index véritable sur lequel travaillent les "data centers" serait en réalité beaucoup plus petit, et une extrapolation serait effectuée pour correspondre au total de 8 milliards -- sauf que Google pourrait bien avoir du "vieux code" dans ses programmes (voir les commentaires de Mark Liberman's et Geoff Nunberg's comments), qu'ils ont très bien pu oublier de mettre à jour lors de la mise en place passablement chaotique du nouvel index (voir, à nouveau, les commentaires de Nathan Weinberg pour plus de détails).

Je ne sais pas si c'est l'explication, ou même une partie de celle-ci, mais je suis convaincu que les lecteurs et commentateurs de ce blog vont faire preuve d'imagination (n'oubliez pas de m'envoyer un petit message à Jean.Veronis@up.univ-mrs.fr) si vous écrivez des commentaires sur un autre blog) !

En tous cas, je déconseillerais vivement l'utilisation des comptes fournis par Google dans une quelconque application professionnelle (comme par exemple la "linguistique Googléenne" qui semble émerger ces temps-ci). Yahoo! semble de comporter de façon plus fiable -- ou plus rusée !

Post-scriptum


28 jan - Danny Sullivan rebondit sur SearchEngineWatch blog, avec une liste utile d'autres articles sur les bizarreries arithmétiques de Google [en anglais]:
Search engine counts are never something you should depend on, a topic we've discussed many times before. Still, if you're going to get a count, it's nice if it doesn't seem to change much or simply seem absurd depending on the query you do.

Google's counting has been shaky for ages. But the Web: Google's counts faked? article does a lot of math to find the counts have even more weirdness to them.

Lire...


[8 fév - Lire la suite : Le mystère des pages manquantes de Google résolu ?]

33 Commentaires:

Anonymous Anonyme a écrit...

Biens sympathiques ces petites infos :)
J'ai découvert votre site grace à Zorgloob.com et ils sont tous deux forts intéressants :)

Merci pour vos "démonstrations".

Rano

26 janvier, 2005 16:33  
Anonymous Anonyme a écrit...

En fait une part non négligeable de l'index Google n'est pas véritablement indexée : Google juge alors le contenu non pas sur le contenu de la ressource, mais sur les liens qui pointent vers la ressource. J'imagine que ca influe sur les estimations des résultats...

26 janvier, 2005 16:44  
Anonymous Anonyme a écrit...

Je pense que ta 1e expérience (avec "the") est biaisée par le fait qu'il s'agit probablement d'un mot ignoré dans la plupart des requêtes. Les moteurs se comportent généralement de façon aberrante quand on leur envoie des requêtes ne contenant que des mots ignorés, et on ne peux pas vraiment leur en vouloir. Cela pourrait aussi expliquer ton second graphique (plus un mot est courant en anglais, plus il tend à être ignoré par le moteur) ce qui fausserait aussi tes résultats. Mais comme je ne comprends pas tout à ton explication, je ne voudrais pas trop m'avancer...

Manue
http://figoblog.ouvaton.org

26 janvier, 2005 19:39  
Blogger Unknown a écrit...

Très intéressant ! Avez-vous testé le tout récent msn search ?

26 janvier, 2005 22:58  
Blogger Jean Véronis a écrit...

Pas encore! mais c'est dans mes projets... Pour l'instant j'ai juste regardé THE :

Web: 2,625,352,129
Anglais: 2,599,830,747

Cela fait 99%. A mon avis c'est un peu trop, d'autant que THE retourne 16% en allemand, 7% en français. On en est déjà à 122% et je n'ai pas testé les autres langues...

A voir. En tous cas, ça n'est pas complètement à côté de la plaque comme Google !

26 janvier, 2005 23:13  
Anonymous Anonyme a écrit...

Informations très intéressantes ... merci pour cette étude

29 janvier, 2005 13:57  
Blogger Loran a écrit...

Bonjour je viens de poster ici http://loran.blogspot.com

J'ai essayer de me demander ou les resultats divergent sur la recherche autour de "The".
Le resultat est marrant. (enfin moi au moins ca m'a amusé)

31 janvier, 2005 13:55  
Anonymous Anonyme a écrit...

Je suis assez convaincu par ta démo.
Pour la valider, il faut maintenant étudier les autres explications poissibles.
Par exemple, ne se pourrait il pas que 'the' soit un mot ignoré en anglais et pas en dans les autres languages, d'où un résultat abérrant pour cette requete.

01 février, 2005 10:33  
Blogger Jean Véronis a écrit...

C'est pour cela que j'ai pris ensuite des mots indépendants des langues (www, http, etc. -- voir mon tableau). On observe la même chose.

01 février, 2005 13:33  
Anonymous Anonyme a écrit...

Je suis comme Manue : une recherche avec le mot "the" me pose probléme, sans compter que ce mot existe aussi en langue française. Maintenant, moi non plus, je suis pas un expert, mais le fait que "the" en anglais donne moins de résultats qu'en français ne m'étonne pas plus que ça (sur la page d'aide à la recherche) : "Google ignore les chaînes de caractères dont le poids sémantique est trop faible (également désignés « mots vides » ou « bruit ») : le, la, les, du, avec, vous, etc., mais aussi des mots spécialisés tels que « http » et « .com » et les lettres/chiffres d'un seul caractère, qui jouent rarement un rôle intéressant dans les recherches et risquent de ralentir notablement le processus". De fait,, si la version française ignore "le", on peut imaginer que la version anglaise ignore "the" quand la version française prend en compte le "thé".
Cependant, la recherche donne bien l'impression de ne pas tant ignorer les "the" que ça : la deuxième réponse renvoie au site de la maison blanche, la première à un quotidien.

03 février, 2005 16:55  
Anonymous Anonyme a écrit...

En fait Google n'interroge qu'une partie de sa base dans un premier temps et n'interroge le reste que si les mots recherchés ne sont pas assez courants et n'ont rien donné de quantitavement suffisant (moins de 1.000 réponses). La première base est composée de pages avec PR (PageRank) élevé, et est répliquée un grand nombre de fois pour afin de tenir la charge. Le comptage est donc complètement approximatif au délà de 1.000 réponses (règle de 3 à partir du nombre de résultat sur la fraction de base interrogée).

03 février, 2005 17:30  
Anonymous Anonyme a écrit...

yahoo comme google !
une recherche sur THE en langue francophone offre 18 000 000 réponse.
Puis une recherche sur THE sur "en france" donne 23 400 000 réponse.

il y aurait pas un Bug ?

@plus

03 février, 2005 17:43  
Anonymous Anonyme a écrit...

Juste une remarque.
Tout le monde pense à "the" comme l'article définitif "le". N'oubliez pas qu'en langage "francophone" le mot "the" peut aussi signifier "thé" ("tea" en anglais).
Donc la somme des articles définitifs "the" et des mots désignant le breuvage bien connu peut effectivement dépasser le seul mot "the" en tant qu'article définitif.
Voilà, c'était ma contribution du jour...
Honolulu

03 février, 2005 22:03  
Anonymous Anonyme a écrit...

hello, bien sympa d'avoir autant de temps à perdre ! mais je me permets de souligner que si tu avais perdus autant de temps pour étudier un peu plus le web et les difference des critere de recherche des moteurs tu aurais pu comprendre tout seul ton erreur...
google ne lit plus les meta mais scan les pages, yahoo c'est le contraire, donc deja pour les recherche uniquement en langue anglaise il y a une sacrée difference de nombre de page ecris en anglais et les site de pays anglophone ! de plus comme l'a relever plus haut une personne the peu etre thé car google ne tiens pas compte des accents.... donc ca donne deja des difference énormes !
pour ma part le plus important est que google trouve bien plus de reponse interessante car les meta sont vraiment mal remplis par les programmeurs, mais c'est vrais que yahoo est devenu aussi pertinent, mais uniquement si les meta sont correctement rempli....

a plus
r.ik

04 février, 2005 00:27  
Anonymous Anonyme a écrit...

C'est vraiment du temps à perdre, et c'est dommage je me joins à toutes les explications fournies conçernant les mots ignorés.

As tu seulement vérifié l'info avec google ou voulais tu devenir célèbre le temps de quelques jours ?

Demain je posterai "MSN Messenger vous espionne" et Logitech vous prend en photo avec votre Webcam entre 8h00 et 10h00 quand vous sortez de la douche" ...

Je suis triste d'avoir été intrigué par le titre de cet article ne se basant que sur des tests en ne prennant pas compte des critères des moteurs.

L'autre solution est que tu travailles chez Yahoo ou MSN et que tu veux faire un formidable coup de pub pour ta boite ...

Bonne soirée..

CyruS.

04 février, 2005 01:10  
Blogger Jean Véronis a écrit...

Je vois que je ne suis pas le seul à avoir du temps à perdre ;-)

04 février, 2005 08:43  
Anonymous Anonyme a écrit...

Je ne trouve pas que ce soit du temps perdu et je prends toujours plaisir à lire ce genre d'article.

05 février, 2005 02:58  
Blogger Fred a écrit...

Ton calcul est tout à fait correct, mais ton interprétation est fausse à cause du choix de ton échantillon de mots:
ils ne concernent que l'informatique, et cette "loi de puissance" s'explique par le fait que:

plus les termes sont très techniques utilisés dans les documentations informatiques (perl,..) ou commerciaux essentiellement américains (Macintosh) alors plus ils apparaissent sur des sites anglophones et on comprend pourquoi,

et plus ils sont courants comme l'informatique grand publique (www,...), plus ils apparaissent dans toutes les langues.

Je pense que au contraire, google donne plus de résultats que yahoo, et de ce fait on constate plus facilement cette "loi de puissance", mais qui ne s'applique pour moi qu'à ton échantillon.

Je pense que si tu utilisais un échantillon plus élargi et plus conséquent, en incluant des termes plus littéraires (non pas monopolisés par les américains), tu ne verrais pas alors cette "loi", tu devrais simplement obtenir une ligne sans pente.

05 février, 2005 15:35  
Blogger Jean Véronis a écrit...

Voilà de la bonne méthode scientifique : Corsican émet une hypothèse, et nous donne une méthode pour la tester. Merci, ça relève le niveau après les deux ou trois derniers commentaires... Effectivement, j'ai pensé à cette possibilité (d'ailleurs dans l'article je dis "Je veux bien accepter un léger biais", et c'est à cela que je fais référence), mais :

1. Les "mots" non informatiques (les nombres par exemple), se placent exactement sur la même loi de puissance que les mots informatiques (le mot "the" en est un exemple). J'ai fait d'autres essais qui confirment que le seul facteur est la fréquence des mots.

2. On devrait avoir un biais aussi, même s'il est plus léger pour une raison X, avec les autres moteurs. Or, on n'en observe strictement aucun sur Yahoo (et je viens de vérifier qu'il n'y en a aucun avec MSN non plus).

3. Rien n'explique que la cassure soit franche, et que l'on passe d'un mode sans corrélation à un mode fortement corrélé en loi de puissance. Il y a une rupture nette, alors qu'avec le biais en question la dégradation devrait être progressive.

05 février, 2005 17:56  
Anonymous Anonyme a écrit...

C'est quand même grave de poster des trucs comme cela alors que google est un moteur de recherche avec lequel on trouve toujours rapidement ce que l'on cherche.

De plus, je te rapelle que la tu es sur un blog hébergé par google car Blogger fait partie de google.

Demain tu vas te plaindre de ton blog ...

Alez a++

05 février, 2005 21:28  
Anonymous Anonyme a écrit...

Très fort, au moins on ne peut pas dire que c'est une etude baclée.
Je me doutais du peu de fiabilité du nombre de resultat car j'avais deja remarqué que google ne respectait pas la Loi de Benford sur les chiffres.
Bon boulot bravo !

07 février, 2005 12:13  
Anonymous Anonyme a écrit...

Mouais , beaucoup de bruit pour rien ...
"Mais j'ai trouvé pire, et bien plus dérangeant" oh mon dieu c'est horrible.

07 février, 2005 21:05  
Anonymous Anonyme a écrit...

Excellente étude ! Bravo ! La raison du biais reste obscure à mes yeux, mais je propose quelques remarques :

- le biais se produit au-delà d'un seuil critique, ce qui m'engage à penser que ça pourrait venir d'une limitation logicielle volontaire de la part de Google pour éviter la surcharge due aux requêtes engendrant de trop longues recherches : au delà d'un certain nombre de pages trouvées on arrête la recherche, et on applique une méthode heuristique (genre règle de 3 à partir du ratio pages pertinentes/pages testées et du nombre total de pages référencées) pour évaluer un pseudo nombre total de pages pertinentes.
- reste à expliquer l'apparition de la loi de puissance. Là, j'ai vraiment du mal à comprendre. Mais les résultats totalement abhérents en ce qui concerne les recherches restreintes aux pages anglophones, me donnent à penser que la méthode heuristique appliquée pourrait ne pas être la même dans le cas de recherches "On the Web" et de recherches anglophones. Voire, que les recherches sur les pages anglophones pourraient tout simplement être tronquées au-delà d'un certain nombre de résultats. C'est ce que suggère notamment la forte proportion de résultats entre 10 et 100 millions pour les seules pages anglophones.

Qu'en penses-tu ?

08 février, 2005 17:31  
Blogger Jean Véronis a écrit...

Il est fort improbable que les mots fréquents soient totalement indexés, pour des raisons évidentes de place. Pas question d'indexer tous les "the", mais on peut en indexer une partie, concernant les pages de relevance la plus élevée. Mon hypothèse est qu'au-delà de 0.5 x 10^8 la proportion mise dans l'index suit une loi de ce type. Ca paraît être une bonne solution technique. Et comme l'interrogation sur les pages en anglais a l'air de faire apparaître le vrai contenu de l'index [voir mon billet d'aujourd'hui], c'est peut-être l'explication...

08 février, 2005 18:13  
Anonymous Anonyme a écrit...

Ca n'a pas grand chose à voir mais, ce qui m'étonne dans google, c'est le nombre de page indexées. 8 Milliards de pages alors qu'il y a quelques mois seulement il n'y en avait que 4 milliards !

Sam

09 février, 2005 16:19  
Anonymous Anonyme a écrit...

Je suis impressioné par la qualité de cette analyse. J'avoue ne pas avoir compris tous les calculs mais qu'importe ! Je m'étais déja fait la remarque que les recherches de Google sur une langue précise ne fonctionnaient pas, mais pas de façon aussi formelle !

27 mars, 2005 23:54  
Anonymous Anonyme a écrit...

Tres belle etudes, et de haute qualite.
Mais il y a quand meme une demarche que je pense n'a pas encore ete faite: contacter directemment google et leur demander des eclaircissement.
Si cela a deja ete fait et qu'il n'ont pas repondu alors la oui je crois qu'il y a quelque chose d'artificielle dans les resultats de google (bien que c'est vrai qu'ils donnent des resultats assez pertinents).

Bonne continuation et encore felicitation from Kinshasa RDCongo

03 mai, 2005 19:30  
Blogger Jean Véronis a écrit...

contacter directemment google> eh oui, je l'ai fait, mais je n'ai eu qu'une réponse automatique en langue de bois, du genre "nous vous remercions et nous allons étudier le problème"...

03 mai, 2005 19:36  
Anonymous Anonyme a écrit...

interressante etudes mais qui ne fait que confirme la bonne marche de l'alogorythme original utilise par Google.

En effet l'analyse semantique d'un texte est un processus complexe et tres couteux en terme de resources et somme toute hazardeux, puisque finalement seule un humain peut comprendre (et encore!) l'ambiguite d'un texte. L'idee des algorythmes utilises par Google est d'avoir une approche statistique de l'analyse des textes. En fait les moteurs de recherche n'indexent pas sur le "sens" du texte mais plutot sur une loi statique pre-determinee liant un texte a un certain nombre de mots "statistiquement" pertinant.

Par exemple, Google utilise une loi tres simple; le texte est divise en mot, chaque mot est compare a l'index existant, si le nombre total d'occurence de ce mot depasse 50% du nombre totale d'occurence des autres mots, alors le mot est considere comme du bruit. Ce qui signifie qu'il n'est pas pertinent puisqu'il renvoie plus de 50% de l'index. Qui veut verifier une a une des milliard de pages! Une recherche qui donne des milliard de resultats est une mauvaise recherche puisqu'elle ne permet pas humainement de trouver une information. Cela signifie que les mots cles entres ne sont pas assez significatif pour trouver une information utile a l'utilisateur.

En clair ton etude confirme l'algorythme. Les mots que tu as choisis renvoient trop de reponses d'ou l'aberrance et la cassure dans tes graphs. Tu ne fait que detecte le seuil ou le moteur pense que le mot est pertinant ou non. Grosso modo l'algorythme de Google est correct lorsque le nombre de reponse est peu eleve, au dela il repond n'importe quoi. Ce "n'importe quoi" signifie d'entrer de nouveaux mot cles afin de limite le nombre de reponse afin de rendre un resultat qui veut dire quelques chose.

A noter aussi que la langue est importante dans l'algorythme d'indexation. Le decoupage en mot du texte est dependant de la langue. De plus la probabilite que ce mot soit du bruit est aussi dependant de la langue. "The" est un article en anglais mais "The" (tea) est un nom en francais. De plus le decoupage du texte n'indexe pas le mot tel quel mais une forme simplifier du mot. La raison est qu'un mot peut avoir plusieur derivation et terminaison, par exemple un verbe en francais ou un adjectif en japonais; le mot chant, chanter, je chantes... vont etre indexer sous le terme "chant", racine commune. Le terme "The" peut aussi referencer a bien plus qu'a "The" article dans differentes langues...

En depit des failles d'une telle approche, elle a fait ces preuves, ce n'est pas parfait mais jusqu'a maintenant c'est efficace et rapide.

23 juin, 2005 12:12  
Anonymous Anonyme a écrit...

-yo

18 août, 2005 22:00  
Anonymous Anonyme a écrit...

un an plus tard... mais il me semble que la première copie d'ecran indique 8 milliards de "resultats", et la deuxieme 88 millions de "pages", soit 880 millions de résultat.

cela dit ca ne fait toujours que 10%.....

11 avril, 2006 00:21  
Anonymous Pinkilla a écrit...

Quatre an plus tard ... :-)

Environ 14.740.000.000 résultats (0,29 secondes)

08 juillet, 2010 00:24  
Blogger Unknown a écrit...

Cinq an plus tard ... :-)

About 25,270,000,000 results (0.23 seconds)

08 août, 2011 00:26  

Enregistrer un commentaire