Web: MSN triche-t-il aussi ?

[ Version anglaise - English version ]

Il y a quelque temps, j'ai montré que Google "gonfle" le nombre de ses résultats par un facteur de 66%, ce qui explique des inconsistences étranges, et en particulier le fait que les pages semblent disparaître comme par enchantement. Quand on cherche des mots tels que alive, economist, focusing, etc. dans les pages anglaises seulement, on n'obtient que quelque 60% seulement des résultats que Google prétend avoir pour l'ensemble du Web, ce qui est évidemement impossible, sauf si on admet que ces mots sont aussi massivement non-anglais. Yahoo a un comportement bien plus raisonnable, et nous dit que 92% de ces mots apparaissent dans des pages en anglais. Google semble gonfler artificiellement les nombres de résultats pour les faire correspondre à la taille de son index principal combinée avec celle de son index supplémentaire, bien que, évidemment, celui ne contienne pas grand-chose (URL, titre, etc.) -- et en tous cas, pas ces mots anglais qui manquent désespérement à l'appel.

Voilà pour Google et Yahoo. Mais qu'en est-il de MSN ? Eh bien, il s'avère qu'il y a des choses bien étranges aussi.

J'ai utilisé la même liste de mots anglais que dans mon étude précédente (et les résultats ont été obtenus au même moment, le 6 février). Le diagramme ci-dessous montre les chiffres donnés par MSN sur les pages en anglais par rapport à ceux qu'il donne sur l'ensemble du Web (voir liste complète ici) :

La pente de la droite de régression indique que les résultats anglais représentent seulement 65% des résultats pour l'ensemble du Web. C'est un peu mieux que Google (56%), mais cela n'a toujours pas beaucoup de sens.

Pour le français, le diagramme est le suivant (voir les résultats complets ici) :

Ceci montre que seulement 75% des ces mots français sont situés dans des pages françaises (Yahoo donne 97% pour la même liste).

Est-ce que MSN a aussi un index supplémentaire comme Google ? ou bien ses résultats sont-ils simplement gonflés pour des raisons de marketing? Je n'ai pas assez d'information à l'instant présent sur l'architecture de MSN pour pouvoir trancher, mais peut-être que certains lecteurs auront des lumières (si c'est le cas, n'hésitez pas à commenter !).

Si nous faisons, en première approximation, confiance à Yahoo, nous pouvons déduire que l'index "véritable" (c'est-à-dire dans lesquels les mots de la page sont indexés) est seulement d'environ 0.65 / 0.92 = 71% de ce que MSN prétend, en se fiant au sondage sur les mots anglais, ou 0.75 / 0.97 = 77% avec la liste française.

En conclusion, il semble que l'index de MSN soit seulement d'environ 75% de la taille prétendue (quelle est-elle, au fait? ils ont annoncé 5 milliards de page avant le lancement, mais je ne me souviens pas d'avoir vu des chiffres plus précis ou plus récents). En conséquence, les résultats semblent gonflés d'un facteur de 33% (1 - 1/0.75).

Google : inflation de 66% ; MSN : inflation de 33%. Environ la moitié. Coïncidence ?

En tous cas, pour l'instant seuls les comptes de Yahoo semblent cohérents (devrais-je dire sincères ?). L'ironie de la chose est que Google a probablement gonflé ses comptes sous la pression de MSN qui annonçait 5 milliards de pages, mais il s'avère que MSN fait probablement la même chose. Poker menteur chez les moteurs ?

Web: MSN cheating too ?

[ French version - Version française ]

Some time ago, I showed that Google inflates its result counts by a factor of 66%, which explains a number of weird inconsistencies, and in particular the fact that pages seem to disappear as if by magic. When you search for words such as alive, economist, focusing, etc. in English pages only, you get only about 60% of the results Google claims for the entire Web, which is of course impossible, unless these words are also massively non-English. Yahoo behaves in a much more reasonable way, and tells us that these words appear for 92% in English pages. Google seems to artificially inflate the result counts to make them match the size of their main index combined with their supplemental index, although of course this supplemental index contains very little (URLs, titles, etc.) -- and certainly not the English words that are desperately missing.

We've seen Google and Yahoo. What about MSN ? Well... it turns out that there is something fishy there too.

I used the same English word list as in the previous study (and results were obtained at the same time, i.e. February 6th). The figure below plots the counts given by MSN for English pages vs for the entire Web (see complete set of results here) :

The slope of the regression line indicates that the English results represent only 65% of the results for the entire Web. This is a little better than Google (56%), but still does not make sense.

For French, the plot is as follows (see complete results here) :

This shows that only 75% of these French words are located in French pages (Yahoo indicates 97% for the same list).

Does MSN have a supplemental index like Google ? or are the results simply inflated for marketing purposes ? I do not have enough information at this point on MSN's architecture, but maybe some readers have some lights (if so, please comment !).

If we trust Yahoo as a first approximation, we can infer that the "real" index (i.e. in which the page words are indexed) is only about 0.65 / 0.92 = 71% of MSN's claims, if we use the English list as a probe, or 0.75 / 0.97 = 77% if we use the French list.

In conlusion, MSN's index seems only around 75% of the size claimed (what is it by the way? they said 5 billion pages before launching it, I don't remember seeing more precise/recent figures -- again, if you know, please comment !). Consequently, results seem inflated by a factor of 33% (1 - 1/0.75).

Google : 66% inflation ; MSN : 33% inflation. About half. Coincidental ?

In any case, so far only Yahoo's results seem coherent (should I say sincere ?). The irony is that Google probably inflated its count because of MSN's pressure, when MSN announced 5 billion pages, but it seems that MSN if playing a trick too! Search engines playing liar's poker?

Blogs: Le langage des fleurs

Je croyais que la fleur préférée des bloggueurs était le narcisse, mais en fait, chaque blog a sa fleur bien à lui. Voici celle qui correspond à Technologies du langage pour l'artiste Christine Sugrue :

Superbe, non ?

Christine a développé une application Flash, OrganicHTML, qui permet de transformer un site web en une plante plus ou moins colorée et plus ou moins fantastique. On pourrait organiser un concours du plus beau blog...

Il n'y a pas de fichier d'aide, mais Christine m'a fait une fleur et m'a envoyé quelques explications (je traduis) :

"[Le programme] utilise un certain nombre d'élements de la page, liens, texte, couleurs, images, flash et structure des tables. Il dépend beaucoup des tables pour créer l'organisation récursive. C'est un peu dommage parce que les sites CSS sortent comme des tiges à l'aspect plutôt triste (je n'ai pas encore arrangé ça...). Mais en fait, je me remande si cette bizarrerie ne rend pas la chose encore plus marrante."

Merci Christine !

Allez bon week-end. Cultivez votre jardin !

[via LanguageLog]

---

Post-scriptum

Mes conseils de jardinage semblent avoir été suivis, peut-être pour oublier la grisaille de cette fin février (évidemment, ici à Aix-en-Provence il fait un grand soleil, mais ça n'est pas représentatif !). Voici quelques blogofleurs que je me permets d'arroser un peu au PageRank :

• la fleur d'Urfist
• la fleur de Totem Consult
  
• la fleur d'e-claire (avec les fleurs de Libé et du Monde)
• la fleur de BPol
• la fleur de 13770
• la fleur d'Intelligence Economique
• la fleur d'e-Specialists
• la fleur de GuiM (avec tout un jardin de sites variés)
• le bouquet de Tilly
  
• ...

Web: Google débloggue ?

Mark Liberman fait remarquer sur Language Log que Google semble avoir modifié ses pondérations, et que les blogs sont descendus de façon notable dans le classement des résultats. Et de fait, je ne suis plus premier sur les vernis à ongles, mais 15ème. Snif ! Mais ça n'est que justice, tout de même... J'avais noté dans ce billet le caractère totalement ridicule de la situation, qui semblait se doubler d'un coup de pouce assez scandaleux de Google pour attirer des "clients" sur sa filiale Blogger.

D'autres bloggueurs font la même constatation (Mithras, Locussolus, etc.). Pour certains, c'est la mort du blog... Je ne sais pas. D'une part Google est manifestement en train de chercher la bonne recette, et il y aura sans doute encore des ajustements (surtout si les bloggueurs protestent massivement...). D'autre part, la situation précédente n'était pas tenable -- surtout pour Google, qui ne l'oublions pas, vit des publicités. Si les résultats sur les produits commerciaux courants deviennent totalement aberrants, c'est la mort des moteurs.

Du point de vue technique, l'analyse de la situation n'est pas évidente. Quels sont les blogs affectés ? Blogger, c'est sûr. Les autres aussi (Typepad, etc.) ? Il semblerait. Blogger plus que les autres ? peut-être, mais il faut dire qu'il était poussé drôlement fort quand même ! Il semblerait aussi que les blogs qui ont leur propre nom de domaine ne soient pas affectés (ce qui semblerait indiquer une "rustine" assez rapide de Google basé sur l'examen trivial des URLs) -- mais attention à la propagation des rumeurs. Tout cela reste à vérifier.

Et enfin, je ne m'explique pas que si ce blog est descendu sur vernis à ongles, il soit monté sur langage, passant à la 11ème place (sur près de 5 millions de pages, ça n'est pas mal du tout). Bientôt dans le premier écran de résultats ? Il y a manifestement des ajustements très compliqués chez Google, et qui vont plutôt dans le sens du mieux (non, Google n'a pas injecté de "Latent Semantic Indexing" ou autre produit miracle dans la nuit, attention aux rumeurs à nouveau !).

Les Googlers ont dû avoir chaud avec leur dernière mise à jour début février, qui est apparue très rapidement comme fantaisiste. Et les voix sont de plus en plus nombreuses pour dire que d'autres moteurs, comme Yahoo, retournent des résultats plus cohérents ! Google sait très bien que ses résultats s'érodent. Pour la première fois depuis des mois, il a enregistré sa première baisse...

Qui habet aures audiendi, audiat !

Google: Stabilisation de la taille d'index

[ Version anglaise - English version ]

J'ai montré le 22 janvier que la taille de l'index Google avait progressé, bien que la page d'accueil dise toujours "Nombre de pages Web recensées par Google : 8 058 044 651." En utilisant un sondage à partir d'un certain nombre de requêtes, j'ai pu estimer la progression à un facteur d'environ 1.13.

La même technique appliquée un mois plus tard, le 22 février, ne montre pratiquement plus de changement depuis janvier (pente de la droite de régression = 1.01 ou 1.14 depuis novembre).

Le diagramme ci-dessous montre la stabilisation :

Si nous pouvions faire confiance aux chiffres donnés par Google ("Nombre de pages Web recensées par Google : 8 058 044 651"), cela voudrait dire que la taille de l'index est maintenant d'environ 9.2 milliards de pages. Toutefois, il semble que ce chiffre inclut à la fois l'index principal (dans lequel tous les mots de la page sont indexés, jusqu'à la limite de cache utilisée ces temps-ci) et un index supplémentaire, composés de pages que Google a rencontrées mais dont il n'a indexé que très peu de choses (URL, titre...). L'index principal est apparemment de seulement 60% du tout, et les nombres de résultats pour chaque requête "gonflés" artificiellement de 66% pour retomber sur la taille totale (voir étude ici). Etant donné la progression depuis novembre, la taille de l'index principal est donc probablement aux alentours de 5.5 milliards de pages.

Google: Stabilisation of index size

[ French version - Version française ]

I showed on January 22nd that Google's index size had increased, although the main page still said "Searching 8,058,044,651 pages". Using a number of queries as a probe, I estimated the increase to a factor of ca. 1.13.

The same technique applied a month later, on February 22nd, shows almost no change since January (slope of regression line = 1.01, or 1.14 since November).

The diagram below shows the stabilisation:

If we could trust the original self-reported figure ("Searching 8,058,044,651 pages") this would mean that Google's index has now ca. 9.2 billion pages. However, it seems that this figure includes both the main index (all the words on the page indexed, up to whathever cache limit they are using these days) and the supplemental index of pages that Google knows about, but for which only very few elements (URL, title...) are indexed. The main index is apparently only 60% of the whole, and numbers are probably artifically inflated by 66% to match the size of the whole database (see study here). Given the progression since November, the main index is therefore probably somewhere around 5.5 billion pages.

Google: Du blé pour les chaumeurs

Voici la réponse à la devinette de la semaine dernière, à propos de la maxime qui figure sur la "Toolbar" de Google, De parvis grandis acervus erit. Je rappelle le contexte. Les Googlers l'ont, semble-t-il, empruntée à un obscur poète "emblémiste" du XVIème siècle, Geffrey Whitney, qui l'a lui-même empruntée à Claude Paradin dans ses Devises historiques (j'ai découvert cette deuxième partie grâce à un commentaire sur mon billet, beauté des blogs !). Ce superbe manuscrit est téléchargeable chez Gallica (à l'époque les notions de plagiat, propriété intellectuelle et... droits d'auteurs n'étaient pas exactement les mêmes). Comment les "Googlers" sont tombés sur cette maxime, je l'ignore... ils ne paraissent ni latinistes, ni philologues (dans la première version de la Toolbar, il y avait même une magnifique faute d'orthographe -- a cervus en deux mots...).

Quoi qu'il en soit, la devinette ne portait pas sur cette filiation, mais sur une curiosité qui, en fait se dédouble : Whitney comme Paradin, utilisent pour illustrer cette maxime une gravure faite de brins de blé qui s'agglomèrent pour former une gerbe. Je reproduis ci-dessous la gravure de Paradin (page 210). On peut constater que Whitney n'a pas repris que le texte !

La question était : pourquoi précisément du blé ? Bien des images et des métaphores seraient possibles pour représenter l'accroissement de la richesse à partir de peu, comme les petits ruisseaux qui forment de grandes rivières...

En fait, la maxime est une adaptation d'un vers d'Ovide, De stipula grandis acervus erit. Au XVIème siècle, c'est une mode chez les poètes que de s'inspirer des Classiques, de les citer ou les adapter. Il y avait d'ailleurs un indice sur la page de Whitney, mais en quelque sorte un indice trompeur puisqu'il renvoyait à un autre passage d'Ovide, justement à la métaphore des petits ruisseaux...

Le vers De stipula appartient à l'Elégie VIII du livre I des Amours, dont on peut lire le superbe texte parallèle latin-français ici. Stipula en latin désigne la tige du blé, qui reste après la moisson, c'est-à-dire le chaume. Le mot a donné en français l'éteule, qui est un autre mot pour le chaume, le verbe étioler, ainsi que le mot stipule, qui a pris un sens technique différent. Dans certaines régions, des gens s'appellent encore Esteulle, Estioulle, Estublier : ceux qui ramassaient les chaumes après la moisson, ou ceux qui couvraient les toits...

D'où l'image du blé. Mais cette image est-elle bien fidèle ? Stipula, ce n'est pas le blé avec ses superbes épis, mais le chaume, ce qui reste après la moisson, la partie la moins noble, la plus dure à ramasser... Je lis le vers différemment : en ne négligeant pas ce que les autres ont laissé, en acceptant les tâches les plus ingrates, on peut encore construire de grandes choses. Avis aux chaumeurs...

Quant à Google, savez-vous qu'il existe une interface Google Latina ?

Cliquez et vous verrez qu'Ovide lui-même a adapté son propre vers...

Mais hélas, le latin n'est que la langue de l'interface. Google ne propose pas une recherche restreinte aux pages latines (c'est dommage, on pourrait chercher les occurrences de stipula). Pourtant, c'est faisable : je cite une fois encore le beau logiciel TextCat de Gertjand Van Noord (démo en ligne, libre et téléchargeable), qui sait faire cette détection de langue. Ce serait un formidable outil de recherche, qui ne coûterait pas très cher au premier moteur qui ferait l'effort et pourrait lui rapporter gros en terme d'image. Peut-être un challenger ;-) saisira-t-il la métaphore : en ramassant les chaumes, moins nobles que les blés, on peut encore faire de beaux profits... A la vitesse où Google s'active, il faut que les autres moteurs se dépêchent pendant qu'il reste quelque chose à glaner, sinon ils vont se retrouver sur la paille !

Microsoft: Même pas mal ?

On connaît la progression spectaculaire de Firefox. On en a parlé partout. Il faut dire que les utilisateurs sont peut-être un peu fatigués des failles à répétition d'IE, qui transforment votre ordinateur en nid à spyware, avec fenêtres qui s'ouvrent partout sans qu'on ne demande rien, remplies de propositions diverses, allant du casino miraculeux au porno le plus abject...

Xiti publie une étude selon laquelle le panda rouge (ce n'est pas un renard...) dépasse la barre des 10%. Comme il y a aussi quelques autres navigateurs marginaux (Opera, etc.), Microsoft n'est plus qu'à 87%.

Source : Xiti

La réponse standard de Microsoft c'est "Même pas mal... On n'est pas duuuu tooout inquiets". Pourtant, Fann, sur Infos-du-Net fait remarquer aujourd'hui que :

[...] ce n'est qu'une moyenne d'utilisation sur certains sites connus (le Journaldunet, Neteconomie, Google News, ItrNews, mais surtout TF1.fr, LeMonde, France Inter...). Sur beaucoup de sites internet (professionnels ou non), Firefox dépasse la barre des 10% voir des 15% allègrement. Par exemple, sur mon site internet (DameChaos), Firefox en est à 19,9% d'utilisation. Et ce n'est pas le seul !

Et de fait, si je regarde les statistiques des navigateurs qui accèdent à ce blog, je vois que Firefox est à 44% et qu'IE n'atteint qu'un petit 47% !

Sur LanguageLog, un blog Etats-Unien très fréquenté (2500 visiteurs par jour), et consacré à la linguistique (donc avec un public plus "littéraire", et peut-être moins enclin au "bidouillage" informatique, image dont souffre encore peut-être à tort Firefox), le part d'IE n'est quand même que de 55% :

La grande variabilité de la pénétration des navigateurs en fonction des différentes "sous-populations" qui peuplent le Web est donc patente. Si l'on considère que les lecteurs de blogs sont (peut-être) parmi les internautes les plus actifs, qui préfigurent en quelque sort le Web de demain, Microsoft a de quoi se faire du souci (et s'en fait, en interne !).

Alors, Bill, même pas mal ?

Texte: La mort des brouillons ?

Les brouillons des grands écrivains sont de véritables trésors, comme l'a montré la magnifique exposition de la BNF "Brouillons d'écrivains" (elle est toujours en ligne, profitez-en !). Chaque manuscrit porte la trace de la lente gestation de l'oeuvre, les essais, les détours, les doutes, les regrets... Les brouillons nous éclairent parfois d'une façon irremplaçable sur la signification du texte ou l'intention de l'auteur, et constituent parfois des chefs-d'oeuvres artistiques en eux-mêmes.

Manuscrit de Dolor, poème de Victor Hugo

Jean-Louis Lebrave, chercheur à l'ITEM (Institut des Textes et Manuscrits modernes), s'inquiète de la disparition des brouillons avec la généralisation du traitement de texte. Dans quelques décennies, rien ne restera probablement de l'élaboration des chefs-d'oeuvre qui sont en train de naître... Quel écrivain, quel éditeur, garderont les différentes versions de leurs écrits pour la postérité ? L'informatique permet de livrer un produit fini, poli, parfait. Pourquoi garder des strates géologiques imparfaites, sales -- et peut-être bien embarrassantes ?

Un billet de Martin Lessard sur Zéro Seconde, a récemment retenu mon attention. Martin compare les wikis (l'encyclopédie Wikipedia par exemple) avec les palimpsestes du Moyen-Age. Les moines grattaient les parchemins, matériaux coûteux, pour y écrire à nouveau un autre texte :

Cliquer pour voir l'image dans son contexte original.

Voici ce que dit Martin :

Le palimpseste technologique
(nouvelle définition du wiki)

Texte sur une page web dont les copistes de l'Âge Internet ont effacé l'écriture pour y écrire un autre texte.

...suite...

Je vous laisse lire le texte en entier sur ZeroSeconde. C'est l'une de petites merveilles qu'on trouve parfois sur les blogs, du kiss-cool pour la pensée... On en sort avec les neurones tout rafraîchis !

C'est vrai que les wikis, avec leur possibilité de garder toutes les traces de la modification du texte électronique (j'allais dire du manuscrit!), ressemblent à ces parchemins grattés, où l'on peut encore parfois lire d'autres versions entre les lignes. Je regarde souvent moi-même l'historique des articles de Wikipedia avec autant d'intérêt que les articles eux-mêmes :

Mais il y a une différence de taille : les moines essayaient de laver le parchemin de toute trace antérieure. RAZ, reset, comme on dirait de nos jours. Ils ne corrigeaient pas, ils écrivaient autre chose. Le parchemin moderne, la peau d'octet, ne coûte plus rien. Le plus proche de nos wikis, c'est peut-être tout simplement le brouillon d'écrivain, qui garde la trace du processus d'élaboration...

Dans quelques décennies, si tout cela ne se perd pas, on pourra étudier la gestation de la Wikipedia, les luttes d'influences, les négociations, la recherche des consensus. Imaginez que l'on ait tous les brouillons de l'Encyclopédie Diderot-D'Alembert, ou de l'Encyclopédie Méthodique de Panckouke (injustement méconnue) !

Alors, Jean-Louis, tout n'est peut-être pas perdu ? Peut-être le wiki sera-t-il l'outil de renaissance des brouillons ? Il y a déjà des projets d'écriture littéraire sur wiki (WikiRoman, projet Wikira, etc.). Ce sont des projets collaboratifs, mais qui sait si les auteurs individuels ne vont pas eux-aussi trouver dans le wiki un outil formidable de création ?

Google: Barre emblématique

Depuis quelques jours, Google propose la version 3 (beta) de sa célèbre barre d'outils, la Google Toolbar. Deux fonctions superbes méritent mention sur ce blog.

Tout d'abord, la Toolbar 3 propose une fonction de traduction de mots très efficace. Il suffit de passer la souris sur un mot anglais inconnu, et la traduction apparaît instantanément sous le curseur (je reprends des passages d'un précédent billet que j'ai écrit en anglais sur ce blog) :

Bien sûr, ce n'est jamais que l'accès à un dictionnaire, mais qui n'a jamais rêvé d'une telle fonctionnalité ? Elle est offerte pour l'instant de l'anglais vers l'allemand, le chinois, le coréen, l'espagnol, le français, l'italien. Évidemment, il y a encore peut-être quelques petites corrections à apporter dans les dictionnaires, mais c'est quand même déjà très beau :

L'autre nouveauté, c'est la correction orthographique dans les formulaires Web. Quel intérêt me direz-vous ? Il s'agit généralement de taper un mot clé, le numéro de son compte en banque, etc. C'est oublier que les blogs s'écrivent généralement à travers une interface Web, justement dans une boîte texte de formulaire. J'ai moi-même trouvé très pénible le manque de correcteur orthographique sur Blogger. Google nous fournit la solution. Il suffit de cliquer le bouton "Check" (vérifier) et la Toolbar souligne les mots inconnus en rouge (je reprends ici aussi un ancien billet, dans l'interface de saisie tel qu'il se présente sur Blogger) :

Superbe !

Cette nouvelle version de la Toolbar confirme la grande maîtrise qu'a Google des processus interactifs et la capacité de réaction de ses serveurs (la réponse est quasi instantanée), qui nous avait déjà épatés il y a quelques semaines dans Google Suggest. Pour l'instant, bien sûr, la Toolbar est proposée pour Internet Explorer, mais il ne fait nul doute que des versions Firefox apparaîtront bientôt (si ce n'est déjà fait).

Comme dit la boîte d'accueil, c'est avec des petits riens qu'on fait de grandes choses :

De parvis grandis acervus erit... Avec de petites (choses) on peut faire de gros amas (... de dollars). Une recherche (... sur Google !) nous indique que cette maxime est empruntée au poète plus ou moins obscur Geffrey Whitney, qui a publié en 1586 un livre d' "emblèmes", une forme artistique très en vogue au XVIème siècle, mélangeant gravures et petits poèmes illustrant une maxime. La gravure associée à "de parvis..." illustre bien l'idée qui est derrière la maxime : il s'agit de petits épis de blés qui forment de grandes gerbes :

Cliquez pour voir l'image dans son contexte original.

Devinette : pourquoi du blé ? La maxime est neutre : avec de petites choses... On aurait pu prendre n'importe quoi d'autre. Par exemple, de petits ruisseaux formant de grandes rivières ! Mais Whitney a choisi le blé pour une bonne raison. Laquelle ?

SMS: Nomina Sacra

Du "texto" au Ier siècle ?

C'est ce que pourrait laisser penser le fragment de papyrus ci-dessous, acheté à un marchand égyptien en 1934, et connu sous le nom de papyrus d'Egerton 2.

Cliquer pour voir l'image dans son contexte original.

Ce fragment est fascinant, car c'est l'un des plus anciens manuscrits de la chrétienté (on estime qu'il date de la fin du Ier siècle ou au plus tard du début du second). Il fait partie d'un évangile apocryphe, c'est-à-dire l'un des textes qui n'ont pas été retenus lors de la construction du canon par l'Eglise (bien plus tard, au IVè siècle). Il est antérieur aux plus anciens fragments connus des évangiles (Marc, Matthieu, Luc, Jean) retenus dans le canon.

Les deux petits rectangles colorés indiquent des abréviations : le premier rectangle contient les lettres ΚΣ, abréviation de ΚΥΡΙΟΣ (kyrios = seigneur) et le second, ΙΗ, abréviation de ΙΗΣΟΥΣ (iésous = Jésus). Pour bien marquer qu'il s'agit d'une abréviation, les lettres sont surmontées d'une barre horizontale.

Bien sûr, on peut se douter que le papyrus était un matériau coûteux, et qu'il convenait d'optimiser l'espace. Les abréviations semblent exister depuis l'invention de l'alphabet par les phéniciens, et peut-être même depuis les débuts de l'écriture. Mais si l'on regarde attentivement l'usage qui en était fait par les premiers chrétiens, il est très différent de ce qu'on peut observer par exemple chez les moines du Moyen-Âge, qui économisaient manifestement le parchemin (encore plus coûteux que le papyrus), entre autres à l'aide des "notes tironiennes" (inventées par Tiron, esclave affranchi de Cicéron, pour retranscrire les discours de celui-ci au Sénat). Dans le papyrus d'Egerton 2, le "taux de compression" (si on peut se permettre cet anachronisme) est très faible ! Le scribe aurait pu abréger bien d'autres mots. Il suffit de comparer avec le taux de compression de ce texte médiéval (Saint-Thomas d'Aquin, 1286) :

Cliquer pour voir l'image dans son contexte original.

Cette ligne comprend les mots : modo ipsius; et ideo non habent rationem satisfactionis, sed vindica(tionis) ! Pratiquement chaque mot est compressé.

Rien de tel dans Egerton (et dans les anciens papyrus chrétiens). Le scribe se contente d'abréger une petite liste de mots sacrés, Seigneur, Jésus, Jérusalem, croix, etc. C'est pour cela que ce système d'abréviation a reçu le nom de nomina sacra.

Ne retrouve-t-on pas là le double besoin qui se fait sentir dans l'écriture "texto" : gagner de la place, sans doute, mais aussi marquer son appartenance à une tribu, à un groupe à part ? Il y avait très probablement un tel sentiment chez les premiers chrétiens, comme nous le rappelle l'étymologie du mot église : du grec ek - klesia, "qui a été appelé hors de"...

Référencement: Chirac, Chirac !

Fantastique ! Ca ne pouvait pas mieux tomber après mon billet d'hier : la preuve par l'absurde...

Sur Google.fr, Technologies du langage ne sort que sixième (mais avec le présent billet, ça va grimper ;-).

Référencement: Drôlement verni !

Qui ne rêverait de se positionner premier sur un produit de grande consommation, susceptible de rapporter des millions ? Eh bien voilà, pour moi, c'est fait :

Les habitués de ce blog (il commence à y en avoir, merci de votre fidelité !) se rappellent peut-être que j'avais commis un billet sur les vernis à ongles et la chasse à courre... qui n'avait à voir ni avec les vernis ni avec les ongles, mais plutôt avec les stupidités des correcteurs orthographiques dans l'e-pub. A part ça, je ne crois pas avoir jamais parlé de vernis à ongles. Le hameau est tout petit, et on a un peu toujours les mêmes conversations au bistrot-épicerie-poste...

Donc, me retrouver positionné sur les vernis à ongles devant tous les sites de beauté :

• www.manucure-beaute.com (3è)
• absolufeminin.nouvelobs.com (4è)
• www.beaute-dames.com (5è)

les sites marchands :

• www.acheter-moins-cher.com (2è)
• fr.kelkoo.com (7è)
• shopping.lycos.fr (17è)

et surtout (tout de même !) :

• www.ninaricci.fr (11è)
• www.helenarubinstein.com (13è)
• magasins.yves-rocher.fr (69è !)

ça me les coupe (les ongles !). Les observateurs attentifs noteront que les grandes marques de produits de beauté se classent particulièrement bas (évidemment on ne peut s'empêcher de penser que cela arrange bien Google, qui peut leur proposer des liens sponsorisés à prix d'or pour qu'elles deviennent visibles...).

Alors voici une recette (gratuite) de positionnement miracle :

1. Choisissez un produit qui peut rapporter très gros, mais n'a que peu d'occurrences sur la toile.
2. Arrangez un truc avec les chinois pour en avoir du pas cher en grande quantité.
3. Ouvrez un blog chez Blogger.
4. Mettez le nom du produit en titre d'un billet.

Mais attention, mettez ce nom dans les quatre premiers mots, parce qu'au-delà, Google ne fera pas attention à vous. Je suis très déçu de voir que je ne suis vraiment pas positionné pour la chasse à courre, alors que le même billet contenait ces mots dans le titre.

En tous cas, dépêchez-vous, il reste des affaires à faire avec :

• "rouge à lèvres" (73 600 pages)
  
• "fard à paupières" (7 980 pages)
  
• "cremes depilatoires" (681 pages)
  

Ca devient de plus en plus juteux au fur et à mesure qu'on descend dans la liste.

Conclusion : c'est n'importe quoi, et je n'aimerai pas être référenceur par les temps qui courrent.

*
* *

Un peu plus sérieurement : certains diront que "vernis à ongles" n'a que 52 200 occurrences sur le Net (enfin... sur Google -- lapsus révélateur), et qu'il est plus facile de se positionner correctement sur quelques dizaines de milliers de pages que sur plusieurs millions. C'est peut-être vrai (encore que...), mais je remarque que de très nombreux produits de grande consommation ont des fréquences faibles. Il y en a des exemples ci-dessus, mais vous pouvez faire d'autres essais, vous serez surpris. Les mots les plus fréquents ne sont peut être pas ceux qui correspondent à du moyen et petit business. Téléphones et télévisions ont plusieurs millions d'occurrences, mais qui peut raisonnablement attaquer ces marchés-là ?

Malgré la satisfaction qu'expriment les utilisateurs (voir rapport Pew), les moteurs de recherche ne fonctionnent pas de façon optimale, les experts le savent bien, et même les concepteurs l'avouent (pour Gregory Salinger, le directeur de MSN France, "une recherche sur deux ne donne pas de bons résultats"). Il n'est pas normal qu'un petit blog de rien du tout se positionne à l'aide d'un billet totalement anecdotique au-dessus de grandes marques internationales sur des produits qui sont au centre même de leur business. Bien sûr, on voit ici en oeuvre le coup de pouce de Google pour sa filiale Blogger, qui devient plus qu'un simple soupçon. On y voit aussi l'effet de la pondération irraisonnable que donne Google aux mots du titre. Mais au-delà de tout ça, on bute sur les limites des principes actuels d'indexaxtion.

D'une manière ou d'une autre, les moteurs actuels classent les résultats par notoriété. L'algorithme du PageRank, utilisé par Google dès 1999 est l'illustration parfaite de ce principe de notoriété. Pour faire simple, plus un site reçoit de liens et plus ces liens proviennent de sites importants, plus il monte dans les résultats. Les moteurs, Google en tête, ont dû aménager cette logique, car elle était trop vulnérable aux attaques de spammeurs, et on ne sait plus très bien quels sont les brouets numériques obscurs que concoctent les moteurs à l'heure actuelle pour classer les résultats, mais le principe de base n'a certainement pas fondamentalement changé.

Le problème avec le principe de notoriété, est qu'un site peut avoir une grande visibilité dans un certain domaine, sans pour autant être pertinent pour toutes les requêtes. Le vernis à ongles en donne un bon exemple. A supposer que ce blog ait une mini-notoriété dans le domaine du langage, du Web, etc., cela ne lui donne a priori aucune prétention dans le domaine des produits de beauté.

On voit mal comment remplacer le principe de notoriété, qui restera sans doute longtemps, sous une forme ou une autre, la base des classements de résultats. Cependant, il devrait être pondéré par une analyse minimale des sites. A l'heure actuelle, les critères internes aux sites sont extrêmement minimes (pondération du titre, évaluation globale de la quantité de contenu pour combattre les spams, par exemple). Bien sûr, des traitements sémantiques très compliqués peuvent être envisagés, mais des outils de statistique lexicale extrêmement rustiques pourraient déjà permettre une amélioration considérable des résultats. Sur ce blog par exemple, un classement trivial des mots par fréquence ferait immédiatement apparaître que vernis et ongles n'ont eu que des mentions marginales, et ne doivent donc pas faire remonter le site sur ces requêtes. A mon avis, c'est le traitement linguistique (même minimal) du contenu des sites qui permettra le prochain saut quantique dans l'univers des moteurs de recherche.

Or, la grande faiblesse de Google est justement son manque de chercheurs dans le domaine du traitement des langues. L'analyse des domaines de compétence de ses chercheurs à travers leur CVs et leurs publications fait apparaître une absence quasi-totale d'expertise dans ce domaine. Une telle expertise existe chez les développeurs de petits moteurs (notamment en France), mais les petits David semblent bien faibles par rapport au grand Googliath.

Le seul challenger sérieux, c'est... Microsoft, qui, lui, a des équipes de recherche extrêmement étoffées et d'une très bonne qualité sur le traitement des langues. Microsoft est parfaitement en mesure, s'il le décide, de faire le saut quantique dont je parlais ci-dessus, à relativement court terme. Des travaux sont d'ailleurs en cours. Mais la firme est connue pour son cloisonnement, sa bureaucratie, le fossé qui semble parfois impossible à combler entre ses recherches de pointe et la qualité éternellement médiocre de certains de ses logiciels, alors je ne ferais aucune prédiction. Microsoft pourrait. Le fera-t-il ?

D'une certaine manière, il vaudrait mieux que Microsoft ne devienne pas aussi le leader des moteurs de recherche. La main-mise du Léviathan informatique sur la quasi-totalité de l'accès à l'information en plus de tout ce qu'il contrôle déjà est une perspective qui a de quoi faire frémir.

---

Post-scriptum

23 fév - Il semblerait que Google soit en train de changer ses pondérations et qu'il fasse descendre les blogs (via LanguageLog). De fait, Technologies du langage semble avoir un peu descendu sur cette requête (et c'est logique quand même !), mais reste haut classé sur bien d'autres (et toujours premier sur infractus... A suivre !

25 fév - Ca semble se confirmer - Voir ce billet.

Lexique: Yahoo et les yahoourts

A Henri, grand amateur d'informatique,
de langues et de yaourts,
et qui a eu la mauvaise idée de nous quitter trop tôt.

J'espère que le paradis n'est pas virtuel, et que tu nous y attends.

Le petit billet de Langue sauce piquante sur le yaourt a évidemment déclenché mon réflexe pavlovien habituel : me jeter sur Google en salivant (malgré ses petits soucis en maths) pour chercher la fréquence des différentes orthographes : yaourt, yoghourt... Mais j'ai aussitôt ressenti comme un flottement m'envahir : quelles sont au juste les orthographes possibles pour yaourt ? Le TLFI en donne trois en vedette : yaourt, yogourt, yoghourt, mais cite dans le texte tout un tas d'orthographes utilisées par des auteurs ou données par d'autres dictionnaires au fil du temps : yoghourt, yogourth, yoghourth, yohourt, yohourth, yahourt, yahourth, yagourt, yogourt, yoghourt, yoourt. Pour trouver la fréquence des différentes orthographes sur Internet sans pédaler dans le yaourt, il faudrait déjà avoir un moyen de les lister correctement.

Un peu de réflexion : il y a sept parties, on va dire graphèmes, dans ce mot, et chacune peut avoir des variantes. Je serai généreux en acceptant de commencer le mot par y ou i (on verra bien si iaourt, etc. sont attestés ou pas sur Internet). On peut résumer la combinatoire sous forme d'un tableau (je marque -0- pour les graphèmes facultatifs) :

1	2	3	4	5	6	7
i	a	g	ou	r	t	h
y	o	gh	oou			-0-
		h	u
		-0-

Cela fait 2 x 2 x 4 x 3 x 1 x 1 x 2 = 96 possibilités. Il n'y a plus qu'à écrire le programme correspondant...

Oui, mais il y a des trucs pas nets qui nagent dans le yaourt. Ma belle logique sort des formes comme yaurt, ou yourt que j'ai bien du mal à prononcer en deux syllabes... Là, il m'a fallu un p'tit Yop pour me remonter ! Mon programme doit donc respecter la logique phonologique du français, et générer séparément les deux syllabes du mot, avec une règle gérant l'hiatus à leur rencontre : a+o ça fait deux syllabes, mais a+u ou o+u ça n'en fait qu'une. Dans ce cas, le g, gh ou h n'est plus facultatif, il faut l'insérer absolument pour rendre le mot correctement lisible : yagurt ou yahurt, par exemple. Maintenant que la situation est clarifiée, il suffit d'écrire quelques lignes de code, et voilà le résultat :

ya-	yo-	ia-	io-
yagoourt	yogoourt	iagoourt	iogoourt
yagoourth	yogoourth	iagoourth	iogoourth
yaghoourt	yoghoourt	iaghoourt	ioghoourt
yaghoourth	yoghoourth	iaghoourth	ioghoourth
yahoourt	yohoourt	iahoourt	iohoourt
yahoourth	yohoourth	iahoourth	iohoourth
yaoourt		iaoourt
yaoourth		iaoourth
yagourt	yogourt	iagourt	iogourt
yagourth	yogourth	iagourth	iogourth
yaghourt	yoghourt	iaghourt	ioghourt
yaghourth		iaghourth
yahourt		iahourt
yahourth	yoghourth	iahourth	ioghourth
yaourt	yohourt	iaourt	iohourt
yaourth	yohourth	iaourth	iohourth
yagurt	yogurt	iagurt	iogurt
yagurth	yogurth	iagurth	iogurth
yaghurt	yoghurt	iaghurt	ioghurt
yaghurth	yoghurth	iaghurth	ioghurth
yahurt	yohurt	iahurt	iohurt
yahurth	yohurth	iahurth	iohurth

Cela fait 80 possibilités, si je n'ai pas bugg(h)é ! Il n'y a plus qu'à vérifier tout ça sur... eh bien, sur Yahoo (pages francophones), ça s'impose !

Forme	Singulier	Pluriel	Total	%
yaourt	112000	49400	161400	74,8
yogourt	26100	2180	28280	13,1
yahourt	13400	1960	15360	7,1
yoghourt	2950	853	3803	1,8
yogurt	3430	109	3539	1,6
yoghurt	1170	575	1745	0,8
yaourth	1130	129	1259	0,6
yagourt	111	8	119	0,1
yogourth	73	18	91	0,0
yaghourt	61	8	69	0,0
yogurth	34	2	36	0,0
yahourth	10	3	13	0,0
yaoourt	11		11	0,0
iogurt	6	1	7	0,0
iogourt	6		6	0,0
yohourt	4	1	5	0,0
yagourth	4		4	0,0
iagourt	2		2	0,0
yaghurt	1	1	2	0,0
yagurt	1	1	2	0,0
iaourt	1		1	0,0
ioghurt	1		1	0,0
yahoourt	1		1	0,0
yahurt	1		1	0,0
yoghoourt		1	1	0,0
yohurt		1	1	0,0
Total	160508	55251	215759	100

Il y a 26 formes attestées, et les gagnants sont yaourt, yogourt et... yahourt, pas du tout yoghourt que nous donne le respectable TLFI (cette forme n'arrive qu'en quatrième position).

Et si l'on autorisait l'étirement du oooooooooooo ? La "netlangue" s'amuse beaucoup avec ça pour marquer des émotions : biiizzzz ! je t'aiiime ! etc. Joue-t-elle aussi avec la nourriture ? Je n'ai évidemment pas testé l'infinité des séquences. Seul le dieu Godgle pourrait peut-être, et encore. Je me suis limité à trois o consécutifs. Résultat : pas de yahooourts, ni de yoghooourts, sur le Net, rien du tout. Manque total d'émotion pour les produits laitiers. Il faudrait peut-être lancer une marque ? Yahooourt ! ça sonne bien. Et comme il n'y en a pas sur Internet, nous serions premiers sur tous les moteurs ;-) On pourrait se faire un sacré beurre.

Quelle complexité tout de même pour un seul mot ! Il faudrait peut-être éviter d'importer n'importe quoi à l'avenir, ou alors demander une directive européenne qui normalise les orthographes... En tous cas, je crois que je vais boire du petit lait en lisant vos commentaires. "Il nous fait tout un fromage pour un yaourt", etc. Allez-y, ne vous gênez pas, je n'en ferai pas un flan ; les commentaires, c'est comme le lancer de petits suisses à la cantine, ça défoule (mais ça salit moins!).

---

Exercices pour la semaine prochaine

1. Exercice à 0% : parmi toutes ces formes, lesquelles sont reconnues par les correcteurs orthographiques A) de Google, B) de Yahoo, C) de MSN, D) de votre traitement de textes favori ? Que concluez-vous ?

Exemple :

Avantage Google.

2. Exercice au lait entier, pour les experts seulement : qui trouvera la plus petite expression régulière qui génère cet ensemble de séquences (et celles-là seulement)?

Web: Le mystère des pages manquantes de Google résolu

[Version anglaise - English version]

---

Lire la suite

28 fév - MSN triche-t-il aussi ?
7 mar - Yahoo indexe plus de pages que Google
13 mar - Google ajuste ses comptes
23 mar - 5 milliards de "the" sont partis en fumée
25 mar - Un instantané sur la mise à jour

---

Dans de précédents articles, j'ai mis en évidence deux problèmes étranges affectant les comptes de Google (ici et ici). Des millions de pages semblent massivement disparaître :

• si l'on tape Chirac OR Sarkozy, on obtient la moitié des résultats obtenus pour Chirac tout seul, ce qui peut trouver une explication politique, mais constitue une curieuse approche de la logique booléenne ;
• si l'on cherche the dans les pages anglaises, on obtient 1% du nombre de résultats obtenus sur l'ensemble du Web, toutes langues confondues. Est-ce que ça veut dire que the est 99 fois plus fréquent dans les langues autres que l'anglais ? Bien sûr que non.

Où sont passées les pages manquantes ? C'est le problème que je me pose dans cet article. Un scenario possible est que l'index véritable de Google est considérablement plus petit que la taille officiellement annoncée. L'expérience détaillée que je rapporte ci-dessous donne une estimation de 60%, ce qui correspondrait à une taille d'index véritable d'environ 5 milliards de pages. Ce scénario est bien sûr entièrement hypothétique, mais il permet d'expliquer les différences dans les comptes de pages anglaises, et le comportement singulier des opérateurs booléens.

Je préfère le dire clairement tout de suite, de façon à ne pas faire perdre leur temps aux commentateurs éventuels : ceci ne veux pas dire que Google soit un mauvais moteur (je l'ai d'ailleurs en page d'accueil de mon navigateur). Pour la plupart des utilisateurs, les comptes sont sans intérêt, et ce qui... compte pour eux, c'est de savoir s'ils obtiennent leur résultats rapidement et efficacement ou non. Les chiffres ne présentent un intérêt que pour les experts, et dans ce cas précis, ils ont des raisons de s'interroger.

Une expérience

Dans cette nouvelle expérience, je n'ai pas utilisé des mots fréquents comme the, car de tels mots ont toutes les chances de faire l'objet d'un traitement spécial dans tous les moteurs de recherches. Ils font probablement partie d'un antidictionnaire (stoplist), et leurs occurrences ne sont probablement pas pleinement indexées. J'ai plutôt utilisé 50 mots anglais tirés au hasard dans un corpus d'un million de mots (accumulated, alive, ancestor, bushes, etc.), en éliminant les mots pour lesquels je connaissait un homographe évident dans une autre langue (par exemple patio).

La figure ci-dessous donne une représentation des comptes fournis par Google pour une recherche de ces mots dans les pages en anglais par rapport à ceux qu'il fournit sur l'ensemble du Web (la partie qu'il en connaît, bien évidemment) [voir résultats complets ici -- toutes les valeurs ont été obtenues le 6 février] :

La pente de la droite de régression nous indique que les résultats en anglais représentent 56% des résultats pour l'ensemble du Web, sur les mêmes mots. Bien entendu, j'ai pu manquer quelques homographes interlingues, et certains des mots apparaissent probablement cités dans des pages non-anglaises, mais ces facteurs devraient être marginaux -- et de toutes façons différents pour chaque mot. Si quasiment la moitié des occurrences apparaissent dans des pages non-anglaises, on devrait oberver une dispersion considérable des résultats. Au lieu de cela, on observe une très forte corrélation entre les deux comptes, avec un coefficient de détermination R² égal à 0.96. Cette corrélation importante est statistiquement impossible, et un facteur systématique doit être présent pour l'expliquer. Une possiblité serait une performance très médiocre de l'algorithme de détection de langues utilisé par Google, mais c'est une explication très improbable, car on en verrait des traces dans près d'un résultat sur deux. Or, c'est loin d'être le cas : la détection des langues dans Google est très robuste, même si, évidemment, elle n'est pas parfaite.

Par ailleurs, si nous examinons les résultats de Yahoo pour la même liste de mots, nous obtenons un comportement bien plus conforme à nos attentes [voir résultats complets ici] :

La corrélation est également très forte (même plus forte, en fait), mais ceci est tout à fait normal, puisque les résultats sont presque identiques : les résultats anglais représentent 92% du total. Ce chiffre est bien plus en accord avec nos connaissances linguistiques.

Les résultats français sont tout à fait similaires. J'ai fabriqué une liste de mots français selon les mêmes principes, et je l'ai soumise à Google et Yahoo [voir résultats complets ici]. Google donne 58% des résultats situés dans des pages en français, avec, à nouveau, une corrélation importante -- légèrement plus faible (R² = 0.86), mais également incompatible avec la proportion importante de résultats qui seraient situés dans des pages non-françaises. Le comportement des mots individuels devrait amener une image globale beaucoup plus aléatoire.

Yahoo se comporte exactement comme pour l'anglais. La proportion des résultats situés dans des pages françaises est même légèrement supérieure (97%), ce qui est conforme aux attentes, puisque l'anglais, langue internationale, est plus susceptible que le français d'être cité dans de nombreux documents en langues étrangères.

Un scénario possible

De nombreux experts (voir par exemple ici) pensent que la base de données de Google est composée de deux parties (au moins). L'une des deux parties est un véritable index, tandis que l'autre ne contiendrait que des URLs de pages dont Google connaît la présence, mais qui n'ont pas été réellement indexées (à part peut-être les mots présents dans l'URL). Je n'ai bien entendu aucun moyen de savoir si cette hypothèse est correcte (bien que, jusqu'en 2002, Google l'ait admise publiquement), mais elle permet d'expliquer les comportements curieux dont je me suis fait l'écho ci-dessus.

Appelons ces parties hypothétiques A et B, composant à elles-deux la base de données D :

Nous pouvons dès lors écrire un scénario possible. Quand on interroge Google avec un mot X sans spécification d'une langue particulière, Google interroge son index (c'est-à-dire la partie A), qui lui fournit un nombre de résultats. Ce compte est extrapolé pour être en accord avec la taille de la base de données D (c'est-à-dire augmenté dans un rapport de 1/0.60 = 1.66). Par contre, lorsque la recherche est restreinte à une langue particulière, l'extrapolation n'est pas faite, car les pages dans la partie B ne sont pas indexées, et pas catégorisées du point de vue des langues. Seuls les résultats de A sont fournis. Bien sûr, il aurait été possible de projeter les proportions des différentes langues de A dans la base de données D, et de fournir une extrapolation réaliste malgré tout, mais les ingénieurs de chez Google n'y ont sans doute pas pensé, ou ont trouvé que c'était sans importance.

On peut calculer une estimation très précise de la taille relative des parties A et B, à partir de mes résultats précédents. Selon Yahoo (si on accepte de lui faire confiance), 92% des résultats concernant ma liste de mots anglais sont situés dans des pages en anglais. Si l'on applique la même proportion à Google, cela veut dire que l'index (c'est-à-dire la partie A) est de 0.52 / 0.92 = 60.9% de la taille de D. Il est assez intéressant de remarquer que si on applique les mêmes calculs au français, on obtient une estimation de 0.58 / 0.96 = 60.4%. Ces chiffres sont si proches qu'il serait surprenant qu'ils soient dus à une coincidence.

Selon le scénario esquissé ci-dessus la taille réelle de l'index Google est donc d'environ 60% de celle de la base de données complète, et les résultats fournis sont affectés d'un facteur d'inflation de 66% (1/0.60 - 1).

Il est difficile de rapporter ces proportions à des valeurs absolues, car personne ne sait exactement quelle est la taille de la base de données Google. En novembre 2004, Google a annoncé que le moteur cherchait dans 8 058 044 651 pages Web. Ce chiffre n'a pas changé depuis sur la page d'accueil, mais j'ai montré le 23 janvier que l'index s'était accru d'un facteur 1.13 depuis novembre (lire ici). Une estimation du 6 février me donne un facteur d'accroissement de 1.14. Ceci correspondarait à une base de données de 9.2 milliards de pages, c'est-à-dire un index véritable (partie A) d'environ 5.5. milliards. Certains obervateurs ont observé qu'en novembre, Google a affiché pour un court instant 10.8 milliards de résultats pour la requête the, ce qui indiquerait une base de données plus grande encore, à moins que cela signifie simplement qu'à un moment donné Google a envisagé un facteur d'inflation encore plus grand. Nous ne le saurons probablement jamais.

Un nouveau regard sur la logique Googléenne

Le scénario hypothétique esquissé ci-dessus fournit également une explication simple au problème de la logique Googléenne. Rappellons-nous que X OR Y renvoie moins de résultats que X tout seul (voir détails). Encore plus étrange, X OR X et X (AND) X renvoient aussi moins de résultats que X tout seul. J'ai interrogé Google avec X OR X et X (AND) X pour chaque mot de ma liste anglaise (avec l'option "tout le Web") . Les résultats sont dans les deux cas quasiment identiques pour la totalité des mots [voir résultats complets ici], et, ce qui est encore plus surprenant, ils correspondent quasi exactement aux résultats pour X sur les pages anglaises seulement (coefficient de détermination R² > 0.999 !

Il est probable que Google effectue ses calculs booléens (union et intersection de listes) sur la base de l'index véritable (partie A). Ceci expliquerait pourquoi X OR X et X (AND) X donnent les mêmes résultats qu'une recherche sur X en anglais. La même chose se produit avec les mots français [voir résultats complets ici]. Si ce phénomène surprenant n'a pas été relevé jusqu'ici c'est sans doute qu'il est brouillé lorsqu'on utilise des mots qui peuvent apparaître dans plusieurs langues (homographes comme patio ou noms propres comm Chirac ou Bush).

Selon toute probabilité, les ingénieurs Google ont oublié de connecter la routine d'extrapolation à la sortie du module de requêtes booléennes ! En conclusion, si vous voulez connaître le vrai compte des mots dans l'index Google, tapez-les deux fois :

Mot	Compte
Chirac	3 570 000
Chirac Chirac	2 170 000

La deuxième ligne fournit probablement le vrai compte...

---

Lire la suite

28 fév - MSN triche-t-il aussi ?
7 mar - Yahoo indexe plus de pages que Google
13 mar - Google ajuste ses comptes
23 mar - 5 milliards de "the" sont partis en fumée
25 mar - Un instantané sur la mise à jour

---

Web: Google's missing pages: mystery solved?

[ French version - Version française ]

---

Read follow up

28 feb - MSN cheating too?
7 mar - Yahoo indexes more pages than Google
13 mar - Google adjusts its counts
23 mar - 5 billion "the" have disappeared overnight
25 mar - A snapshot of the update

---

In previous articles, I pointed out two strange problems with Google counts (here and here). Pages seem to massively disappear:

• If you type Chirac OR Sarkozy, you get half the number results of Chirac alone, which may have a political explanation... but is a weird approach to boolean logic.
• If you search the in the English pages, you get 1% of the number you get for the all languages together. Does this mean that the is 99 times more frequent in languages other than English? Of course not.

Where are the missing pages gone? This is the question that I am trying to address in this article. A possible scenario is that the real index used by Google is considerably smaller than the counts officially announced. The detailed experiment reported below yields a precise estimate of 60%, thus leading to a real index size of ca. 5 billion pages. This scenario is of course entirely hypothetical, but it enables to explain both the discrepancy in the English page counts and the strange behaviour of Google's Boolean operators.

Let me say it right away, in order to save commentators' time: this does not mean that Google is a bad search engine (and I actually have it as my browser's home page). For most users, counts are useless, and what... counts for them is whether they find the right results quickly and accurately or not. Figures are relevant only for experts, but in this case, these have some reasons to wonder.

An experiment

In this new experiment I do not use frequent words such as the, because frequent words are likely to be processed in a special way by any search engine. They are probably on a special stoplist, and their occurrences not fully indexed. I have used instead 50 English words drawn randomly from mid-range frequencies in a 1-million word corpus of English text (accumulated, alive, ancestor, bushes, etc.). I have eliminated words for which I knew obvious homographs in other languages (such as patio, etc.).

The figure below plots the counts given by Google for English pages vs the entire Web (the part known to Google, of course) [see complete results here -- all figures in this study were obtained on February 6th].

The slope of the regression line indicates that the English results represent 56% of the results for the entire Web for the same words. Of course, I may have missed some collisions of homographs accross languages, and some of the words probably appear cited in non-English pages as well, but these factors should be marginal, and in any case, different for each word. If almost half of the occurrences of these words are located in non-English pages, there should be a considerable amount of dispersion in the plot. Instead, there is a very strong correlation between the two counts, with a coefficient of determination R² equal to 0.96. This high correlation is statistically impossible, and some systematic factor must explain it. A possibility would be an extremely poor behavior of the language detection algorithm used by Google, but this is very unlikely because we would see evidence of that in almost every other result, and it is far from being the case: Google's language detection is fairly robust, if not perfect.

On the other hand, if we look at Yahoo's results for the same word list, we get a much more expected pattern [see complete results here]:

The correlation is very high too (higher, indeed), but this is normal because the results are almost identical: English results represent 92% of the whole. This figure is in line with our linguistic knowledge.

Results for French are very similar. I built a French word list on the same principle, and ran it through Google and Yahoo. Google gives a 58% share of results located in French pages, and again a high correlation, slightly lower (R² = 0.86), but still incompatible with a large proportion of results outside the pages categorised as French. Individual word behaviour should bring a much more random pattern [see complete results here].

Yahoo behaves just as it did for English. The proportion of results located in French pages is even higher (97%), which is expected, since English, as an international language, tends to be cited in more documents than French.

A possible scenario

Many experts believe (see for example here) that Google's database is composed of (at least) two parts. One part which is a full index, and another one which contains URLs and other information for pages that Google knows about, but whose content has not been indexed (only the words in their URLs are possible indexed). I have no means to know whether this hypothesis is correct (although Google admitted it publicly until 2002), but it could explain the strange behaviour reported above.

Lets call the two hypothetical parts A and B respectively, composing together the whole database D:

We can then build a possible scenario. When we query Google with a word X in any language, it looks it up in its index, i.e. the part A, and extrapolates the count to match the size of the entire database D. However, when we restrict the search to a given language, it does not extrapolate, because pages in part B are not indexed and not categorised in any language. Only the results of A are reported. Of course, it would have been possible to extrapolate the language proportions from A to the entire database D, and extrapolate anyway, but the Google engineers didn't think of it, or didn't think it was important.

We can compute a fairly good estimate of parts A and B, using my calculations above. According to Yahoo (if we accept to trust it), 92% of the results for my English word list are located in English pages. If we apply the same proportion to Google, this means that the index, i.e. part A, is 0.52 / 0.92 = 60.9% the size of D. Interestingly enough, if we do the same computation using the French list, we get an estimate of 0.58 / 0.96 = 60.4%. These figures are so close that it would be surprising that they are a pure coincidence.

Under the scenario outlined above, the real size of Google's index is therefore ca. 60% of the entire database, and the numbers reported are inflated by a factor of 66% (1/0.60 - 1).

This is difficult to match to absolute numbers, because nobody knows exactly the size of Google's database. In November 2004, Google announced that it was searching 8,058,044,651 web pages. The number has not changed since then on the main page of the engine, but I have shown on January 23 that the index had increased by a factor of 1.13 since the announcement (read here). An estimate on February 6th gives a growth of 1.14. This would correspond to a current database size of ca. 9.2 billion pages, i.e. a real index size (part A) of 5.5 billions. However, some observers have noticed that for a short while before the announcement in November Google reported 10.8 billion results for a query on the, which would indicate an even larger database, unless it simply means that at some point in time Google had considered an even larger inflation factor. We will probably never know.

A new light on Googlean logic

The hypothetical scenario above also nicely explains the Googlean logic problem. We remember that X OR Y returns fewer results than X alone (see details). Even weirder, both X OR X and X (AND) X return also fewer results than X itself. I queried Google for X OR X and X (AND) X for each word X in my English list (with the "any language" setting) . The results for both queries are almost identical for all words [see complete results here], and very surprisingly, they are almost identical to the number of results for X in the English pages only (coefficient of determination R² > 0.999!).

It is likely that Google does the boolean computations (union and intersection of lists) on the basis of the real index, i.e. part A. This would explain why X OR X and X (AND) X yield the same results as the search in English pages when X is an (almost exclusive) English word. The same occurs with French words [see complete results here]. This fact probably went unnoticed until now because if you use words that can appear in many languages (homographs such as patio, or proper names such as Chirac or Bush), the pattern is blurred.

In all likelihood, the Google engineers simply forgot to plug the extrapolation routine at the end of the boolean module! Therefore, if you want to know the real index count for any word, simply type it twice:

Word	Count
stuttering	749,000
stuttering stuttering	452,000

The second line is likely to be the real count...

---

Read follow up

28 feb - MSN cheating too?
7 mar - Yahoo indexes more pages than Google
13 mar - Google adjusts its counts
23 mar - 5 billion "the" have disappeared overnight
25 mar - A snapshot of the update

---