Lexique: Cliquez, cliquez, et les "binettes" cherront !

Un billet de Langue sauce piquante (le blog des correcteurs du Monde, que je recommande chaudement !), nous parle du verbe choir et nous dit qu'il n'est plus guère utilisé qu'à l'infinitif et au participe passé (sauf sans doute chez Raymond Devos). Le Dictionnaire de l'Académie en fait la remarque dès 1740 (après l'avoir trouvé vieilli en 1718).

Et pourtant, le futur vivote encore. Un titre de Libération m'avait fort amusé il y a quelques semaines :

Tirez la languette et le latex cherra

Je me suis demandé quel était le "degré d'activité" de ce futur. Quelques prestes e-questes sur Google ("le * cherra" et "la * cherra", et la même chose avec cherront), ont fait choir tout un tas d'exemples dans mon escarcelle numérique :

Cliquez, cliquez, et les "binettes" cherront ! (smileys)
Passez lentement la souris sur les bobinettes et le blabla cherra (photos d'amis)
Tire la manivelle et la piécette cherra (bandits manchots)
La « shopinette » cherra (une patinette pour faire ses courses)
Donnez la phalangette et la phalangine cherra, puis la phalange, la main et le bras cherront ! (un homosexuel hostile au mariage gay)
Tire la bandelette et la chevillette cherra (momies)
Tirons sur le bon bulletin et la martinette cherra (contre Martine Aubry)
Tire sur la chiraquette et la bombinette cherra (Chirac et la dissuasion nucléaire)
Tire la bambinette, le bambino cherra (rapports mère-enfant)
Tirez la chevillette, et le plaisir cherra (consommez...)

Il est frappant de voir que toutes les occurrences sur Google (j'élimine bien sûr les exemples en ancien français) sont des détournements de la réplique célébrissime du Petit Chaperon Rouge : Tire la chevillette... Le lexique est décidément tout sauf une bête liste où les mots entreraient et sortiraient bien en ordre, comme dans les éditions successives du Petit Larousse. J'ai eu l'occasion de parler d'écologie du langage sur ce blog. En voici un bel exemple. Le futur de choir résiste toujours, mais uniquement dans une "niche écologique", le moule stéréotypé Impératif + ...ette + cherra. C'est Perrault qui a sauvé cette espèce menacée. Il ne s'en fallait que d'un fil, pour que, comme la bobinette, le futur n'ait chu. Ne soit chu ? Chu plus très sûr...

Web: Google Print en marche

J'ai eu l'occasion de parler du programme Google Print sur ce blog, et j'ai eu aujourd'hui la bonne surprise de voir que Google avait mis mon best-seller ;-) dans le circuit. Une recherche sur Jean Veronis (vanité des vanités...) affiche la bannière suivante en haut des résultats :

Jusque là, ça ne se distinguerait pas trop d'un "lien sponsorisé", mais la différence est de taille. En cliquant sur le titre du bouquin, Parallel Text Processing, on aboutit à la table des matières, et surtout à un moteur de recherche qui permet de trouver des extraits du bouquin. Exemple : "Rosetta stone" renvoie 18 résultats avec les numéros de pages, mais le plus épatant, c'est qu'en cliquant sur chaque résultat on accède à un fac-similé de la page avec les mots de la requête surlignés (et apparemment les trois pages qui suivent) ! La reproduction ci-dessous est réduite, mais la version fournie par Google est de la taille de la page réelle et elle est parfaitement lisible (cliquez sur l'image pour voir) :

J'avais beau savoir comment ça marchait et avoir vu des démos, j'en suis tout ébahi.

D'accord il y a encore quelques petits détails à régler. Tout d'abord, ça ne marche que sur Google.com, et pas sur Google.fr. Les restes du monde devront attendre... Les accents ne sont pas non plus la priorité à Seattle : Jean Véronis ne pointe pas sur Google Print. Et puis, il y a quelques bizarreries internes. Il faut taper la requête sans guillemets, contrairement à ce que l'on imaginerait : la requête sur l'expression exacte "Jean Veronis" ne renvoie pas elle non plus vers Google Print.

Mais je ne vais pas être chien. Quel outil extraordinaire ! Et ce n'est que le début...

---

Voir aussi

11 mai - La BnF, la France et l'Amérique

---

SMS: Pouce !

G T MDR en lisant cette nouvelle dans le Corriere della Serra : les parents d'une adolescente de 14 ans de Savona en Italie se sont rendus chez leur pédiatre parce qu'ils n'arrivaient pas à comprendre pourquoi leur fille avait le pouce bloqué. Le pédiatre en question a diagnostiqué une belle tendinite du pouce, due aux 100 SMS par jour que la collégienne envoyait à ses potes ! Tordant (pour les doigts). On se demandait déjà si les portables ne donnaient pas le cancer, mais voilà un autre danger pour la santé. A quand les avertissements sanitaires sur les téléphones, du genre les SMS peuvent entraîner une tendinite longue et douloureuse ? ou Protégez les enfants, ne leur envoyez pas de SMS...

Une solution, en attendant que la dictée vocale soit au point, serait l'"écriture intuitive", qui permet de réduire les frappes -- mais elle crée d'autres soucis (je vous les garde pour un prochain billet !).

E-Pub: Du Bush à l'oreille

Yahoo! Recherche propose cette pub pour la requête Bush :

Il y avait déjà eu un président acteur, un autre saxophoniste... Quels artistes ces présidents américains ! A moins que ce ne soit une pub pour la chanteuse anglaise Kate Bush...

Cette rencontre hasardeuse (qui rappelle un peu celle de mon précédent billet sur l'e-pub), montre le chemin qu'il reste à faire dans le domaine... Comme peu de gens, globalement, doivent connaître Kate Bush, la pub doit leur apparaître comme un mauvais gag. Etant donné que la pub est la source de revenus quasi exclusive des moteurs, il est étonnant qu'il n'y ait pas plus de recherches sur la façon d'apparier les requêtes, les résultats et les annonces. Il y a pourtant des choses à faire. Une idée toute simple : lorsqu'il s'agit de personnes (musiciens, auteurs, etc.), donner systématiquement le prénom ! Si on avait eu "enchères de disques pour Kate Bush", il n'y aurait eu aucun problème (je devrais proposer mes services à Yahoo! ;-) ).

Au fait, de quoi W pourrait-il jouer ? De la bombarde sans doute...

Renseignement: Technologies du langage à la DGSE

Il semble y avoir un mouvement croissant en direction des technologies du langage au sein du monde du renseignement et de l'intelligence économique (IE). La vague a commencé aux Etats-Unis (réseau Echelon, etc.). Elle atteint manifestement la France, où de plus en plus de signaux intéressant commencent à s'allumer et à converger (voir par exemple, mes billets sur l'IE ou sur la police high-tech. Je découvre aujourd'hui le texte suivant sur le site de la DGSE (page Moyens techniques) [c'est moi qui souligne] :

La DGSE utilise des solutions logicielles multilingues de traitement de l'information stratégique et notamment :

• pour le recueil d’informations sur toutes sources, présentation graphique et système d’alerte, analyse de la tonalité du discours (gestion de l’image) ;
• pour la surveillance, découverte et partage d’informations, gestion de collaborations et gestion de connaissances sur Intranet ;
• pour la recherche en langage naturel d’informations structurées ou non dans le système d’information de la DGSE ;
• pour l’extraction, la structuration des informations, appliquée à la veille et la gestion ;
• pour la surveillance de l’évolution de contenus de sites Internet, archivage de contenus disparus, alerte sur nouvelles informations apparues ;
• pour l’utilisation de moteur de recherche et d’indexation (lexical, sémantique, mathématique et statistique) ;
• pour une veille qui interprète et reformule de manière pertinente les requêtes multilingues et qui apprend à connaître les besoins de l’utilisateur ;
• pour l’extraction d’informations, la structuration de bases de données et l’indexation automatique ;
• pour la collecte, le traitement et la diffusion de l’information à des fréquences et sous des formes variées – papier, courriels ;
• pour l’acquisition d’informations, l’indexation, la classification, les résumés, la constitution de dossiers thématiques ;
• pour la recherche et l’indexation de données sur Intranets, Extranets, Internet, base de données et forums ;
• pour la recherche, analyse et indexation de contenus images et vidéos ;
• pour la gestion globale de la sécurité informatique de la DGSE, sécurisation des réseaux internes de la DGSE, stockage sécurisé de données, collaboration sécurisée par courriels ;
• pour les analystes afin d’accroître les capacités analytiques selon les objectifs et les problématiques : outils de simulation et d’aide à la décision, de modélisation et de simulation stratégique.

Ce texte contient un programme de recherche absolument fascinant (car l'introduction, "La DGSE utilise des solutions...", est vraiment optimiste : il y a dans tout cela bien plus de problèmes que de solutions !). Le XXI^ème siècle est manifestement le siècle de l'information -- et l'information est pour la plus grande partie langage. Les services du renseignement et de l'IE commencent à le réaliser pleinement. C'est un formidable moteur potentiel pour la recherche en traitement automatique des langues. Nombreux sont ceux qui, comme moi, auraient préféré que le moteur soit autre, dans un monde plus doux, mais saurons-nous néanmoins saisir cette opportunité ?

Web: Comptes bidons chez Google ?

[ Version anglaise - English version ]

[8 fév - Lire la suite : Le mystère des pages manquantes de Google résolu ?]


Il y a quelques jours, j'ai montré que les opérateurs booléens de Google retournaient des nombres totalement aberrants, qui empêchaient toute utilisation sérieuse (à moins que l'on soit prêt à accepter que A OR B renvoie moitié moins de résultats que A tout seul, bien évidemment).

Mais j'ai trouvé pire, et bien plus dérangeant. Les nombres de résultats eux-mêmes sont aberrants, même si l'on n'utilise pas de recherche "avancée" (ou suppposée telle...). Regardez attentivement les deux copies d'écrans suivantes, et cherchez l'erreur :

Le premier écran est une requête pour the dans la totalité des pages Web (celles que Google indexe, bien sûr). Le chiffre rond de 8 milliards exactement est un peu suspect, comme cela a été remarqué à maintes reprises, mais ce n'est pas cela qui me dérange le plus. La requête pour the restreinte aux pages en anglais ne retourne que 88 millions des résultats, soit juste un peu plus de 1% du total. J'ai du mal à accepter un tel résultat, qui signiferait qu'environ 99% des occurrences de the se situent dans des pages autres qu'en anglais !

Mais je peux me tromper. Vérifions donc avec Yahoo! :

Le paysage est totalement différent ici, puisque 91% des occurrences de the se situent dans des pages en anglais, ce qui est tout de même plus conforme à nos intuitions.

Je ne suis pas prêt à accepter la réponse standard de Google ("nos chiffres ne sont que des estimations, des approximations, etc."). Lorsqu'on atteint des différences de cette ampleur, il ne s'agit plus d'approximation, et quelque chose d'autre de plus profond doit se cacher derrière les chiffres. J'ai donc essayé de déterminer la proportion exacte des pages en anglais dans l'index Google. Pour cela, j'ai choisi 50 "mots" qui sont selon toute vraisemblance relativement indépendants des langues: nombres, extensions de fichiers, protocoles (http, etc.), marques informatiques, etc. Ces mots apparaissent certainement dans d'autres langues que l'anglais, et bien qu'il puisse y avoir des variations individuelles, je ne m'attendrais pas à observer une relation systématique entre leur fréquence et leur présence dans des pages anglaises. Ou alors, s'il y en a une, elle sera intéressante à expliquer.

Les résultats sont résumés (en millions) dans la table ci-dessous (ils ont été obtenus le 25 janvier sur Google.com, depuis la France, et ils peuvent évidemment varier quelque peu selon les "data centers" qui reçoivent la requête):

Google	Web	En	%
1	4780	67	1,4
www	4410	50,2	1,1
2005	2400	63,9	2,7
0	2180	80,7	3,7
10	2140	66,1	3,1
html	1600	58,9	3,7
http	1350	34,2	2,5
web	988	42,3	4,3
php	883	60,7	6,9
htm	846	53,5	6,3
2000	747	62,9	8,4
100	536	57,2	10,7
pdf	417	53,1	12,7
yahoo	277	28,2	10,2
linux	222	31,7	14,3
jpg	221	32,4	14,7
mp3	213	43,5	20,4
amazon	208	34,6	16,6
url	202	36,2	17,9
microsoft	187	24,9	13,3
1000	157	41,7	26,6
google	150	18	12
xml	119	24,9	20,9
xp	101	24,7	24,5
ibm	81,6	25,7	31,5
txt	80	26,7	33,4
ftp	77	31,6	41
href	74,1	24,1	32,5
perl	51,4	22	42,8
https	49,3	21,5	43,6
gnu	43,3	19,8	45,7
mozilla	34,4	13,9	40,4
mpeg	28,7	12,8	44,6
macintosh	28,1	15,5	55,2
firefox	23,6	10,4	44,1
wma	15,5	5,07	32,7
wav	13,5	7,36	54,5
ppt	13	7,34	56,5
altavista	11,8	4,19	35,5
rtf	11,4	6,08	53,3
ldap	6,98	3,56	51
csv	5,82	2,89	49,7
sgml	5,23	2,58	49,3
gopher	2,92	1,52	52,1
vba	2,57	1,6	62,3
0x00	2,21	0,42	19,1
ie6	2,05	0,73	35,6
vb6	1,1	0,4	36
ffff	1,07	0,4	37,3
0xff	1,07	0,32	29,8

J'ai affiché la relation entre la fréquence des mots et le pourcentage de pages en anglais dans le diagramme ci-dessous :

Ce diagramme est tout à fait inattendu, puisqu'on observe une loi de puissance entre le pourcentage et la frequence, qui résulte en une décroissance extrêmement rapide de la proportion des pages en anglais contenant une forme donnée quand la fréquence de cette forme augmente. Je veux bien accepter un léger biais, mais je ne vois rien qui puisse expliquer un effet de cette ampleur.

Comme je ne veux pas me reposer sur des intuitions, j'ai vérifié ce que nous dit Yahoo! pour les même 50 mots. Yahoo! et Google reconnaissaissent à peu près le même ensemble de langues, et bien qu'ils puissent différer quelque peu dans leur stratégie de crawling (ce qui peut entraîner de petites différences dans le diagramme), la tendance générale devrait être la même.

Or, elle est totalement différente chez Yahoo! :

On n'observe absolument aucune corrélation, et les mots apparaissent de façon aléatoire dans le diagramme, comme je m'y attendais. La droite de régression est plate, indiquant une proportion moyenne de 61% de pages en anglais dans l'index Yahoo!. Il y a donc quelque chose d'étrange chez Google. Pour y voir plus clair, j'ai esayé de "zoomer" l'axe des abcisses à l'aide d'une échelle logarithmique, et, de fait, le nouveau diagramme nous donne une meilleure idée de la situation :

Le diagramme se divise en deux parties, quelquepart entre 10⁷ et 10⁸. La partie de gauche se comporte exactement comme Yahoo! : il n'y a aucune corrélation entre la fréquence globale et la proportion anglais/Web. La droite de régression est plate (elle peut apparaître un peu courbée à cause de l'échelle logarithmique sur l'axe des abcisses) et elle indique une proportion d'environ 43% de pages en anglais. Le comportement selon une loi de puissance n'apparaît que dans la partie de droite du diagamme. Maintenant que la partie de gauche en a été extraite, la corrélation est extrêmement forte, puisque coefficient de détermination R² atteint 96%. Le changement soudain autour de 0.5 x 10⁸ et le R² très élevé dans la seconde partie sont tous deux très difficiles à concilier avec un effet naturel. Il semble hautement probable que quelque chose d'artificiel est à l'oeuvre derrière ces comportements.

Quoi exactement ? C'est évidement difficile à déterminer. La cassure soudaine autour de 0.5 x 10⁸ est consistante avec les chiffres de Mark Liberman dans son commentaire à propos de mon billet sur la logique Googléenne. Mark a reporté la relation X vs (X OR X) sur un diagramme pour un certain nombre de mots (que je reproduis ci-dessous par commodité). Il remarque un changement autour de 10⁵ (ligne pointillée). Cependant, le diagramme montre une autre cassure, bien plus prononcée, autour de 0.5 x 10⁸, comme dans mes données (je l'ai marquée en rose dans le diagramme de Mark). Les mêmes raisons pourraient bien être cachées derrière les deux problèmes.

Certains ont dit que Google avait effectivement "crawlé" 8 milliards de pages (ou même plus, comme le prétend Nathan Weinberg dans son billet sur InsideGoogle), mais n'aurait pas réellement indexé toutes les pages pour des raisons pratiques. L'index véritable sur lequel travaillent les "data centers" serait en réalité beaucoup plus petit, et une extrapolation serait effectuée pour correspondre au total de 8 milliards -- sauf que Google pourrait bien avoir du "vieux code" dans ses programmes (voir les commentaires de Mark Liberman's et Geoff Nunberg's comments), qu'ils ont très bien pu oublier de mettre à jour lors de la mise en place passablement chaotique du nouvel index (voir, à nouveau, les commentaires de Nathan Weinberg pour plus de détails).

Je ne sais pas si c'est l'explication, ou même une partie de celle-ci, mais je suis convaincu que les lecteurs et commentateurs de ce blog vont faire preuve d'imagination (n'oubliez pas de m'envoyer un petit message à Jean.Veronis@up.univ-mrs.fr) si vous écrivez des commentaires sur un autre blog) !

En tous cas, je déconseillerais vivement l'utilisation des comptes fournis par Google dans une quelconque application professionnelle (comme par exemple la "linguistique Googléenne" qui semble émerger ces temps-ci). Yahoo! semble de comporter de façon plus fiable -- ou plus rusée !

---

Post-scriptum

28 jan - Danny Sullivan rebondit sur SearchEngineWatch blog, avec une liste utile d'autres articles sur les bizarreries arithmétiques de Google [en anglais]:

Search engine counts are never something you should depend on, a topic we've discussed many times before. Still, if you're going to get a count, it's nice if it doesn't seem to change much or simply seem absurd depending on the query you do.

Google's counting has been shaky for ages. But the Web: Google's counts faked? article does a lot of math to find the counts have even more weirdness to them.

Lire...

[8 fév - Lire la suite : Le mystère des pages manquantes de Google résolu ?]

Web: Google's counts faked?

[ French version - Version française ]

[8 feb - Read followup : Google's missing pages: mystery solved?]



A few days ago, I showed that Google's boolean operators are flawed in a major way which makes their result counts totally unusable (unless you are ready to accept that A OR B returns half the number of results of A alone, of course).

However, I've found much more -- and much more disturbing. The counts themselves are flawed in a major way, even if you don't use any "advanced" (or not so advanced) search capabilites. Take a look at these two screen copies, and find the error:

The first screen is a query for the on the entire web (i.e. the part Google claims it's indexing), the second for the, restricted to English pages only. There is a small oddity that was already noticed by many people: the count for the on the entire Web is rounded at 8 billions exactly, which is a bit suspicious. But this is not my point. The query for the in English pages returns only 88 million pages, i.e. just above 1% of the Web total. I have some trouble accepting this result, which would mean that nearly 99% of occurrences of the string the occur in non-english pages.

But I may be wrong. Let's check what Yahoo! says:

The picture is entirely different here, since 91% of occurrences of the are located in English pages, which is much more in line with our intuitions.

I am not ready to accept the standard explanation from Google's people ("you know that our figures are estimates, approximations", etc.). Differences of that magnitude are likely to hide something more important. I therefore tried to assess the exact share of English pages indexed by Google. To do so, I chose 50 "words" that are likely to be language-independent: numbers, file extensions, protocols (http, etc.), computer brand names, etc. The words probably occur in other languages as well, and although there might be some individual variations among the words, I don't expect to see any kind of pattern relating their presence in English pages and their frequency. Or, if there is one, it will have to be explained.

The results are summarised (in millions) in the following table (they were computed on January 25th at Google.com from France, and results may vary a little of course depending on the data centers that are hit):

Google	Web	En	%
1	4780	67	1,4
www	4410	50,2	1,1
2005	2400	63,9	2,7
0	2180	80,7	3,7
10	2140	66,1	3,1
html	1600	58,9	3,7
http	1350	34,2	2,5
web	988	42,3	4,3
php	883	60,7	6,9
htm	846	53,5	6,3
2000	747	62,9	8,4
100	536	57,2	10,7
pdf	417	53,1	12,7
yahoo	277	28,2	10,2
linux	222	31,7	14,3
jpg	221	32,4	14,7
mp3	213	43,5	20,4
amazon	208	34,6	16,6
url	202	36,2	17,9
microsoft	187	24,9	13,3
1000	157	41,7	26,6
google	150	18	12
xml	119	24,9	20,9
xp	101	24,7	24,5
ibm	81,6	25,7	31,5
txt	80	26,7	33,4
ftp	77	31,6	41
href	74,1	24,1	32,5
perl	51,4	22	42,8
https	49,3	21,5	43,6
gnu	43,3	19,8	45,7
mozilla	34,4	13,9	40,4
mpeg	28,7	12,8	44,6
macintosh	28,1	15,5	55,2
firefox	23,6	10,4	44,1
wma	15,5	5,07	32,7
wav	13,5	7,36	54,5
ppt	13	7,34	56,5
altavista	11,8	4,19	35,5
rtf	11,4	6,08	53,3
ldap	6,98	3,56	51
csv	5,82	2,89	49,7
sgml	5,23	2,58	49,3
gopher	2,92	1,52	52,1
vba	2,57	1,6	62,3
0x00	2,21	0,42	19,1
ie6	2,05	0,73	35,6
vb6	1,1	0,4	36
ffff	1,07	0,4	37,3
0xff	1,07	0,32	29,8

I plotted the percentage of English pages vs the frequency of words in the entire Web in the diagram below:

This is entirely unexpected, since we can observe a power law linking percentage and frequency, resulting in a very sharp decline in the proportion of English pages containing a given form when the global frequency of that form increases. I am ready to accept a small bias, but I can't see anything explaining an effect of that magnitude. Anyway, I don't want to rely on intuitions, and I checked what Yahoo! says about these same 50 words. Yahoo! and Google recognise about the same set of languages, and might differ a little in their crawling strategies, and therefore the plot can be slightly different, but the overall tendancy should be roughly the same.

However, the pattern is totally different at Yahoo! :

There is no correlation at all, and the words, as I expected, appear randomly in the plot. The regression line is flat, indicating an average proportion of 61% of English pages in their index. There is therefore something weird with Google. I tried to "zoom in" by using a logarithmic scale for the X axis in the Google diagram in order to see if we could have a clearer idea of what's going on, and indeed this new diagram sheds some light on the situation:

The plot clearly divides in two parts somewhere between 10⁷ and 10⁸. The left part behaves exactly like Yahoo! : there is no correlation at all between the word global frequency and the En/Web ratio. The linear regression line is flat (it may look slightly bent because the X axis scale is logarithmic) and its slope indicates a share of about 43% English pages. The power law behavior occurs only in the right part of the diagram, and now that the lower frequency words have been excluded the correlation is extremly strong, with a coefficient of determination R² reaching 96%. Both the sudden change near 0.5 x 10⁸ and the very high R² in the second part are difficult to concile with a natural effect. It seems likely that something artificial is going on there.

But what exactly? This is of course difficult to determine. The sudden break around 0.5 x 10⁸ is consistent with Mark Liberman's findings in his follow up to my Googlean logic post. Mark plotted X vs (X OR X) for a number of words (I reproduce his diagram below for the sake of convenience). He noticed a change in slope around 10⁵ (dotted line). However, there is another, more drastic bent around 0.5 x 10⁸, as in my data (I have marked it in pink in the diagram). The same reason(s) could very well be hidden behind the two problems.

Some people have said that Google may have crawled 8 billion pages (or even more, see Nathan Weinberg's post on InsideGoogle), but have not really indexed the entire set for pratical reasons. The real index on which the data center are operating could be much smaller, and in such a case an extrapolation would be done to match the 8 billion figure -- apart from the fact that Google may have old code (see Mark Liberman's and Geoff Nunberg's comments), and they may simply have forgotten to update it in the hesitations that seem to have taken place when they increased their index (again, see Nathan Weinberg's comments for a more complete story).

I don't know if this is the explanation, or even part of it, but I am sure that readers and commentators of this blog will have plenty of ideas (if you write a follow up somewhere else, plese drop me a note at Jean.Veronis@up.univ-mrs.fr).

In any case, I would not recommend professional uses of Google's counts (such as "Google linguistics"). Yahoo! seems more reliable -- or are they simply cleverer?

---

Post-scriptum

28 jan - Danny Sullivan writes a useful follow up on the SearchEngineWatch blog, with pointers to other Google's counts oddities:

Search engine counts are never something you should depend on, a topic we've discussed many times before. Still, if you're going to get a count, it's nice if it doesn't seem to change much or simply seem absurd depending on the query you do.

Google's counting has been shaky for ages. But the Web: Google's counts faked? article does a lot of math to find the counts have even more weirdness to them.

More...

[8 feb - Read followup : Google's missing pages: mystery solved?]

Lexique: Les nouveaux recrus sont déjà fatigués

Je me suis dit, après mon billet d'hier, qu'il serait juste que le sexiquement correct joue dans les deux sens. La(le) gent(e?) masculin(e) peut aussi s'offusquer de quelques termes féminins qu'on lui fait porter en certaines circonstances, en particulier militaires. Sentinelles, estaffettes, ordonnances... Brimades ? Je me suis demandé si on avait commencé à employer une sentinel(le), un estaffet(te), un(e) ordonnant, et j'ai évidemment cherché sur Google. Mais les mots sont vieux, les professions périmées, et la recherche est polluée par le jeu Sentinel (orthographe anglaise), le logiciel Estafet (idem -- tiens, les anglais ont "masculinisé" ces formes en les important), ou le participe présent ordonnant (je ne suis d'ailleurs pas sûr que cette forme soit la bonne pour un masculin d'ordonnance). L'examen de quelques écrans ne m'a rien donné, mais j'ai pu en louper.

J'ai néanmoins trouvé un cas assez intéressant : les nouveaux recrus. Google liste quelques centaines de nouveaux recrus et recru(e)s (jeunes recru(e), nouveaux et nouvelles recru(e), etc.). Il y a donc bien une tendance, même si elle est infime (recrues possède 143 000 occurrences), à faire fonctionner le sexiquement correct à l'envers. Ce qui est amusant c'est que le mot recru existe déjà en français, bien qu'il soit un peu vieilli. C'est le participe passé de l'ancien verbe recroire ("se décourager, s'avouer vaincu"), qui a pris le sens de "fatigué, épuisé". On l'entend encore dans les formes recru de fatigue, de douleur. Le mot recrue, lui, est le participe passé de recroître : il désignait les soldats qui venaient recroître (on dirait maintenant accroître) les corps de troupes au combat. Rien à voir entre les deux donc... Je ne puis dire comment la nouvelle orthographe recru(e) s'est formée, mais peut-être est-ce une contamination par le verbe recruter (qui aurait un participe passé un peu court, mais on est habitué aux bizarreries verbales du français). Ou alors, peut-être les nouveaux recrus sont-ils déjà fatigués ?

Pas d'ambiguïté : je suis totalement pour la parité (la vraie, celle des faits, non celle des mots) ! Mais on peut quand même s'amuser... Il n'y aura que les mauvais(e)s gens pour y voir du mal. Ca ne choque person ?

Lexique: Les contremaître(sse)s de grutier(ère)s et les sapeur(se)s pompier(ère)s

Depuis quelque temps, on observe une tendance à féminiser les noms de métiers ou de fonctions (une chercheure, etc.). C'est très bien, et loin de moi l'idée d'y trouver quelque chose à redire. Nos cousins Québécois sont d'ailleurs en avance sur nous pour ces choses.

Le problème vient du masculin (on s'en doutait diront certaines). Jusqu'ici il a deux rôles dans notre langue, comme chacun sait. Il marque le masculin, évidemment, mais aussi l'indétermination du sexe au singulier (chaque Français) ou au pluriel (les Français). Pendant des siècles on s'est contenté de ça, mais il a fallu trouver autre chose dans le cadre du sexiquement correct. On a donc eu les inévitables (et un peu démagogiques), Françaises et Français, travailleuses et travailleurs, etc. Il n'y a guère d'autre alternative à l'oral, mais à l'écrit, c'est tout de même un peu long, et on s'est mis à jouer avec des astuces graphiques. J'en trouve dans Google News d'aujourd'hui plusieurs centaines d'exemples, au singulier comme au pluriel :

Chargé(e) d’Etudes Marketing
Assumer son homosexualité lorsqu'on est adolescent(e)
Suivi du contrôle des prisons par les élu(e)s
Les Français sont plus frileux que les Anglais(e)s
etc.

Comme je le disais, les Québécois sont en avance sur nous, et leurs textes administratifs sont de vrais délices. Extrait :

Article 13: Les affaires de la Société sont administrées par un Comité exécutif composé d'un nombre fixe de membres, soit huit (8), prenant la charge des fonctions suivantes: président(e) élu(e), président(e), président(e) sortant(e), secrétaire/trésorier(ère), conseiller(ère), président(e) du congrès annuel, responsable du comité scientifique, et représentant(e) étudiant(e). Le(la) président(e) élu(e) est élu(e) par l'assemblée générale la première année et devient automatiquement président(e) et président(e) sortant(e), la seconde et troisième année, respectivement. Le(la) secrétaire/trésorier(ère), le(la) conseiller(ère), le(la) responsable du comité scientifique et le(la) représentant(e) étudiant(e) sont également élu(e)s par l'assemblée générale. Le (la) président(e) du comité organisateur du congrès annuel de la société est nommé(e) à cette fin par le comité exécutif et devient membre d’office de ce comité.

La chose se complique lorsque le féminin se forme autrement que par la simple adjonction du (e)... Parfois ça reste assez simple, comme pour les contremaître(sse)s, ou les chiropraticien(ne)s. Mais c'est plus délicat pour les grutiers et les grutières. J'ai buté moi-même sur la bonne orthographe dans mon billet sur Penelope, où je voulais faire référence à la pénurie d'infirmiers et d'infirmières. Pénurie d'infirmier(e)s me paraît incorrect, car en bonne logique il devrait suffire d'enlever les parenthèses pour trouver la forme féminine. Or, dans ce cas l'accent manque. Pénurie d'infirmier(ère)s ? Pas très logique non plus, puisqu'ici les parenthèses prendraient un autre rôle, de signal d'alternance et non plus de facultativité... Nous sommes donc coincés. C'est encore plus ennuyeux avec les sapeurs et sapeuses pompiers et pompières (respectivement). Ici, il ne s'agit pas d'un pauvre accent grave, que, de toutes façons, presque personne ne remarque. Dans sapeuses, il s'agit carrément du remplacement d'une lettre par une autre. Encore pire, les conducteurs et conductrices (routiers et routières), où plusieurs lettres doivent être remplacées.

La seule solution serait l'adoption d'expressions régulières permettant de noter la disjonction (|) et la facultativité (?) :

infirmi(er|ère)s
sapeu(r|se)s pompi(er|ère)s
conduct(eur|rice)s routi(er|ère)s
contremaître(sse)?s de gruti(er|ère)s
etc.

Pauvres lect(eur|rice)s ! Quant à nos pauvres systèmes de traitement automatique, je n'y pense même pas. Il(elle) y a gros(se) à parier que tou(te)s les contremaître(sse)s de grutier(ère)s et les sapeur(se)s pompier(ère)s n'ont pas été indexé(e)s...

---

Post-scriptum

25 Jan - Une petite suite sur les nouveaux recrus...

Web: Google a le compteur bloqué

Lire aussi :

• Référencement: Google et son image (9 décembre 2007)

---

Je l'annonçais en novembre, Google dépassait la barre des huit milliards de pages, et affichait fièrement sur la page d'accueil :

Nombre de pages Web recensées par Google : 8 058 044 651

Petit problème, cette information n'a pas varié depuis, bien que la taille de l'index augmente régulièrement. Voici la page d'accueil d'aujourd'hui :

Google indexe manifestement chaque jour de nouvelles pages. J'en veux pour preuve ce blog, dont je vois avec grande satisfaction les pages rejoindre très rapidement l'index, généralement en moins de 48 heures (voir requête). Même en supposant que Google ne rajoute que les blogs dans son index, et même s'il n'indexe qu'une fraction des six nouveaux blogs qui se créent chaque seconde (le site Technorati en liste plus de six millions) , le compteur devrait changer rapidement.

Pourtant, dans le même temps, Google change le compte des mots individuels. J'ai fait les mêmes requêtes sur 16 mots le 22 novembre 2004 et le 22 janvier 2005 :

Mot	22 nov 2004	22 jan 2005
Aznar	1690000	1600000
Bernadette	1920000	2250000
Blair	14100000	15800000
Chirac	3120000	3280000
Claude	15600000	17900000
Coluche	161000	193000
Corona	6750000	7430000
Jacques	19000000	21400000
Jospin	669000	768000
Poutine	272000	316000
Raffarin	752000	893000
Saddam	11100000	12400000
Sarkozy	838000	695000
Thatcher	2140000	2770000
Veronis	62600	60100
Zidane	1090000	1280000

Il y a une quasi-parfaite corrélation entre les résultats obtenus à ces deux dates (coefficient de détermination > 0,999 !) :

La pente de la droite de régression (1,13) nous donne la progression entre le 22 novembre (très peu de temps après la publication du nouveau compteur par Google) et le 22 janvier, ce qui nous permet d'estimer la nouvelle taille de l'index (8 058 044 651 x 1,13). Je suis donc heureux de vous l'annoncer : l'index a dépassé neuf milliards de pages. Google devrait donc afficher :

Nombre de pages Web recensées par Google : 9 105 590 456

La taille de l'index a donc progressé approximativement de un milliard de pages en deux mois. Je ne sais pas du tout si la progression est linéaire, mais on peut sans doute prédire le dépassement des 10 milliards de pages indexées avant la fin mars.

Pourquoi Google ne met-il pas à jour son compteur ? Si c'est pour cacher sa progression aux yeux de ses concurrents, c'est assez ridicule, puisque comme ce billet le montre, on peut l'estimer de façon très simple.

Cette petite nuisance sans doute moins grave que le bug sur les recherches avancées que j'ai rapporté l'autre jour, mais tous ces petits détails accumulés finissent par jeter la suspicion sur le contrôle qualité chez la maison Google. D'accord, pour l'instant seuls les professionnels se préoccupent de ces choses. Cela ne fait pas grande différence pour les requêtes sur les pages jaunes ou Britney Spears (voir ce billet)...

Web: Google searching 9,105,590,456 pages [en]

Read also :

• SEO: Google and its image (Déc. 9th, 2007)

---

As I announced in November, Google doubled its index to eight billion pages, and posted proudly on the home page:

Searching 8,058,044,651 pages

Small problem, this information has not varied since, although the size of the index increases regularly. Here is a screen copy of today's page (Google.fr):

Google obviously indexes new pages everyday. For example, this blog's pages join the index very quickly, usually in less than 48 hours (see request). Even if we suppose that Google adds only the blogs in its index, and even if it indexes only a fraction of the six new blogs which are created each second (the Technorati site lists more than six million blogs at the moment), the index size should change rapidly.

However, at the same time, Google changes the count of individual words. I applied the same requests on 16 words on November 22, 2004 and on January 22, 2005:

Word	Nov. 22, 2004	22 jan 2005
Aznar	1690000	1600000
Bernadette	1920000	2250000
Blair	14100000	15800000
Chirac	3120000	3280000
Claude	15600000	17900000
Coluche	161000	193000
Corona	6750000	7430000
Jacques	19000000	21400000
Jospin	669000	768000
Poutine	272000	316000
Raffarin	752000	893000
Saddam	11100000	12400000
Sarkozy	838000	695000
Thatcher	2140000	2770000
Veronis	62600	60100
Zidane	1090000	1280000

There is a quasi-perfect correlation between the results obtained at these two dates (determination coefficient> 0,999!):

The slope of the regression line (1.13) gives us the progression between November 22 (very little time after the publication of the index size by Google) and January 22. This enables us to estimate the new size of the index (8,058,044,651 x 1.13). I am thus happy to announce it: Google's index exceeds nine billion pages . Google should thus post:

Searching 9,105,590,456 pages

The size of the index thus increased roughly by a billion pages in two months. I have no means to know whether the progression is linear, but one can safely predict that the index will reach 10 billion pages before the end March .

Why Google doesn't update its home page? If they intend to hide the progression from their competitors, it is rather ridiculous since as this post shows, it can be estimated in a very simple way.

This small annoyance is less serious than the bug on advanced research that I reported the other day, but all these sloppy details end up throwing suspicion on the quality control at the Google house. Of course, for the moment only professionals are concerned with these things. They do not make the smallest difference for requests about yellow pages or Britney Spears (see this post).

Parole: Scalpel, bistouri... merci, Penelope !

Lu dans le New York Times : un chirurgien de Columbia University Michael R. Treat est en train de mettre au point une infirmière robotisée, Penelope, capable de tendre les instruments au chirurgien à l'aide de commandes vocales -- "scalpel, bistouri, clé de 12, etc." Il y a plus d'information sur le site de Columbia.

Voilà une application intéressante dans le contexte actuel de la catastrophique pénurie d'infirmier(e)s, et qui me paraît tout à fait faisable dans l'état de l'art en robotique et en reconnaissance de la parole. Le système va d'ailleurs être testé au NewYork-Presbyterian Hospital à partir de mars.

C'est un peu plus gênant pour les séries télé du futur. La 21ème saison de la série Urgences, en 2015, risque d'être bien terne. Il n'y avait déjà plus Doug Ross (Georges Clooney) et la splendide Carole Hathaway (Juliana Margulies), mais je n'ose imaginer la série avec de petites histoires de fesses minables entre chirurgiens de série B et infirmières robotisées...

Vous pourriez m'éponger un peu le front, Penelope ?

Lexique: Des Nèg' marron aux yeux bleu ?

Langage sauce piquante rebondit sur le titre du film de Jean-Claude Flamand Barny, Nèg marron, et nous rappelle l'étymologie de marron selon le Larousse Etymologique :

[...] altération de l'espagnol américain cimarrón, "réfugié dans un fourré". Le fourré, c'était l'ancien espagnol cimarra. D'ailleurs, en espagnol moderne, hacer la cimarra, c'est faire l'école buissonnière, et le cimarrón n'est plus qu'un animal domestique enfui.

Je me permets de continuer en écho. Rien à voir donc avec le fruit du chataîgner, et la couleur qui en découle. C'est un piège classique de l'orthographe : les Noirs marrons ont les yeux marron. Attention à la règle qui en cache une autre, ou plutôt, à l'exception derrière l'exception !

Que dit Google (pages francophones, ne pas oublier les guillemets pour chercher l'expression exacte) ?

Expression	Google
Noirs marron	111
Noirs marrons	921

Pas trop mal. Mais un internaute sur 10 a voulu trop bien faire.

Qu'en est-il de marron, nom de couleur ?

Expression	Google
yeux marron	56500
yeux marrons	30100
chaussures marron	454
chaussures marrons	558

Marron est donc train de devenir adjectif, et de s'accorder. Pourquoi pas ? Après tout, il faut bien que les langues évoluent, sinon nous parlerions et écririons le français de Chrétien de Troyes. Le TLFI nous prévient :

Rem. Certains aut. considèrent que marron est devenu un véritable adj. et l'accordent avc le subst. qu'il qualifie. Si les acteurs sont bien à gauche et au bord vous verrez leurs pourpoints marrons (JACOB, Cornet dés, 1923, p.213). Ma pauvre abeille, tu crois que tous les yeux sont gris. Il y en a des bleus, des marrons, des verts et des noirs (SARTRE, Mains sales, 1948, 3e tabl., 1, p.60).

Mais voilà une chose qui m'étonne : l'accord se fait en nombre, mais pas en genre. Pas de chaussures marronnes dans Google ! Une explication ?

Et pour la bonne bouche... y a-t-il des yeux "bleu" ? La recherche sur Google est délicate, car l'expression "yeux bleu" est légitime. Elle apparaît dans "yeux bleu clair", " des yeux bleu-vert", etc. C'est la règle. Comment faire ? On ne peut pas exclure tous les termes susceptibles d'appraître après bleu, car la liste est ouverte. On peut s'en sortir en imposant un contexte droit comme "que" ou "qui". On n'aura pas tous les contextes, mais suffisamment pour un sondage (on comprendra en lisant ce billet pourquoi je n'utilise pas l'opérateur OR).

Expression	Google
yeux bleu que	95
yeux bleu qui	212
Total	307
yeux bleus que	425
yeux bleus qui	3780
Total	4205

C'est tout à fait étonnant : près de 7% d'yeux bleu ! Non seulement on a une tendance à la régularisation des exceptions comme marron, mais on a apparemment une contamination inverse par analogie : les réguliers tendent aussi à devenir invariables. Tensions, contre-tensions... Qui gagnera dans cette lutte entre mots ? L'avenir le dira, mais en tous cas, Google (et les autres) nous fournissent un formidable outil d'observation de cette véritable écologie du langage qui se déroule sous nos yeux (marron ou bleus).

Web: Raffarin contient du benzène

Quelle n'a pas été ma surprise en cherchant formaldéhyde sur l'encyclopédie M$N Encarta, de trouver :

Raffarin contient du benzène, des nitrosamines, du formaldéhyde et du cyanure d'hydrogène

parmi les liens additionnels proposés. J'avais un peu l'impression qu'il était surtout rempli d'air chaud, comme les montgolfières, mais on dirait qu'il y a aussi des traces de composants toxiques. Apparemment, il s'agit d'autocollants subversifs réalisés par un collectif d'intermittents du spectacle en colère. Comme quoi, Internet autorise les rencontres lexicales les plus déroutantes (mais elles ont le plus souvent une bonne explication !).

Sur la lancée du billet d'hier, où je montrais qu'on peut utiliser les moteurs de recherche à des fins linguistico-récréatives, je me suis demandé si on ne pouvait pas trouver d'autres détournements amusants des avertissements sanitaires qui défigurent les boîtes de cigarillos que j'achète pourtant à prix d'or.

Facile... Une petite combinaison de deux fonctions "avancées" de Google, la recherche d'expressions exactes (entourées de guillemets) et de l'exclusion (signe moins devant le mot à exclure). Un petit essai :

-fumer "peut entraîner une mort lente et douloureuse"

Et hop :

• La pub peut entraîner une mort lente et douloureuse de l'espace public
• Le journal de 13h sur TF1 peut entraîner une mort lente et douloureuse
• La TVA peut entraîner une mort lente et douloureuse
• Le nationalisme peut entraîner une mort lente et douloureuse

Et j'ai pu ramener d'autres choses assez amusantes en envoyant les aphorismes tabagiques un par un dans Google (je filtre un peu, car il y a aussi des détournements pas très présentables) :

• Aimer crée une forte dépendance, ne commencez pas
• Travailler bouche les artères et provoque des crises cardiaques et des attaques cérébrales
• Protégez les enfants : ne leur faites pas regarder la télé
• Vivre provoque un vieillissement de la peau
• etc.
  

Délicieux, non ? Je vais me faire des autocollants pour restituer, sinon un aspect esthétiquement correct à mes Cohiba, mais du moins une apparence qui me fera sourire en attendant le cancer (hmm, cancer, cancre... mais je ne veux pas recommencer avec la métastase métathèse).

Ah oui, au fait blogguer créé une forte dépendance, ne commencez pas !

Lexique: Omnubilés par l'infractus

Tout est parti d'un billet sur Langue sauce piquante (un excellent blog tenu par les correcteurs du journal Le Monde), qui nous apprend que le mot infarctus a la même étymologie que farce. Le mot vient de farcire, "remplir", "bourrer" en latin. Pourquoi le c ? se demandent alors les auteurs. Infartus aurait suffit.

Déformation professionnelle, je cherche illico sur Google (pages francophones) et bingo... 354 pages nous proposent infartus sans c (à mon avis sans revendication étymologique particulière, mais plutôt par erreur !). Et je n'ai pas pu m'empêcher de continuer avec l'inévitable métathèse : infractus apparaît sur 1390 pages. Beaucoup ? Non, au contraire, car la forme correcte infarctus apparaît, elle, 210 000 fois. Cela fait donc à peine 0,7 % du total. Pourtant, il me semblait entendre cette erreur à longueur de journée (ou presque). Je n'ai pas d'explication. Peut-être la subjectivité de la perception ? Ou bien les internautes sont-ils plus scolarisés/cultivés que la moyenne de la population (c'est bien possible !).

J'ai testé quelques autres "classiques" de la métathèse, et le gagnant est... carapaçon, suivi de près par omnubilé ! Quant au génycologue, il est purement gényal !

Correct	N	Fautif	N	%
caparaçon	1050	carapaçon	232	18,1
obnubilé	21400	omnibulé	1600	7,0
gynécologue	137000	génycologue	6560	4,6
aréopage	19900	aéropage	758	3,7
obnubilé	21400	obnibulé	814	3,7
rémunération	1090000	rénumération	17100	1,5
infarctus	210000	infractus	1390	0,7
aéroport	1320000	aréoport	3610	0,3
perception	1390000	preception	195	0,0

Un commentaire sur Langue sauce piquante m'a fait remarquer qu'une proportion non négligeable des occurrences était peut-être due simplement à des fautes de frappe. Evidemment, je fais moi-même baeucoup de fautes d'interversion lorsque je tape vite. Ah oui, vous n'avez pas noté le baeucoup dans la phrase précédente ? Pleins de gens la font, celle-là : il y en a 1580 exemples dans les pages francophones d'après Google. Mais ça ne fait que 0,02 % du total ! Dnoc pas de qoui fouetter un caht...

J'ai d'ailleurs vérifié que les autres interversions possibles sur infarctus sont très peu fréquentes. Si la métathèse n'était pas la cause principale dans infractus, on devrait en avoir un peu partout, non ? Voilà le résultat :

Variante	N
nifarctus	0
ifnarctus	0
inafrctus	0
infractus	1390
infacrtus	19
infartcus	3
infarcuts	1
infarctsu	0

Ca parle tout seul.

Peut-être que dans quelques décennies on aura des carapaçons (si on s'intéresse encore aux chevaux autres que vapeur). C'est ainsi que se sont formés des mots comme fromage (< formage) ou brebis (< berbis). Bon, la berbis ça n'est pas trop gras comme formage, pas de quoi attraper un infractus.

Web: Google perd la boole

[English version - Version anglaise]

J'ai suffisamment été admiratif sur les développeurs de Google dans mes messages précédents (voir ici et ici) pour me permettre de les épingler sur leur recherche avancée, en l'occurrence les opérateurs "booléens" :

• Chirac OR Sarkozy retourne les pages contenant l'un ou l'autre mot-clé ou les deux,
• Chirac AND Sarkozy retourne les pages qui contiennent les deux (le AND est facultatif),
• Chirac -Sarkozy retourne les pages qui contiennent Chirac mais pas Sarkozy.

Premier gag :

Requête	Résultats
Chirac	3 260 000
Chirac OR Sarkozy	1 570 000

Le nombre de pages qui contiennent Chirac ou Sarkozy, ou les deux, devrait être au moins égal au nombre de pages contenant Chirac, or il est inférieur à la moitié !

Deuxième gag :

Requête	Résultats
Chirac	3 260 000
Chirac OR Chirac	1 950 000
Chirac AND Chirac	1 950 000
Chirac Chirac	2 010 000

On devrait avoir le même résultat dans tous les cas.

Troisième gag :

Requête	Résultats
Chirac AND Sarkozy	154 000
Chirac -Sarkozy	1 950 000
-Chirac Sarkozy	320 000
Total	2 424 000

Or, en fonction du bon vieux diagramme de Venn ci-dessous, le total des différentes requêtes devrait être le même que Chirac OR Sarkozy, soit 1 570 000 (mais c'est sans doute déjà faux...!).

Je n'ai pas la moindre idée de l'origine du problème. Bien sûr, je sais que les nombres retournés par Google sont des approximations (d'ailleurs le moteur précise bien environ x résultats), que les valeurs peuvent légèrement varier en fonction des "centres de données" qui traitent la requête et qui peuvent varier d'un moment à l'autre. Ces raisons pourraient expliquer de petites différences, mais pas des différences du simple au double. J'ai cherché sur les différents forums. Personne ne semble avoir la solution (si certains parmi vous l'ont, je serais très curieux de la connaître !).

En tous cas c'est bien embêtant pour nos démonstrations pédagogiques (l'autre jour j'ai eu l'air d'un idiot en plein cours -- ok, je survivrai ;-).

Conseil : il vaut mieux utiliser Yahoo! Recherche pour ce genre de calculs :

Test 1 :

Requête	Résultats
Chirac	2 219 000
Chirac OR Sarkozy	2 450 000

Test 2 :

Requête	Résultats
Chirac	2 210 000
Chirac OR Chirac	2 220 000
Chirac AND Chirac	2 220 000
Chirac Chirac	2 200 000

Test 3 :

Requête	Résultats
Chirac AND Sarkozy	205 000
Chirac -Sarkozy	1 990 000
-Chirac Sarkozy	256 000
Total	2 451 000

Il y a bien encore de petites fluctuations, mais là je veux bien les mettre sur le compte des approximations de calcul !

Allons, soyons fair-play, Google a droit à quelques bugs. On ne va pas prendre les booles parce qu'il la perd un peu...

---

Post-Scriptum

24 Jan - Mark Liberman vient d'écrire une suite très intéressante à ce billet sur Language Log.

28 Jan - Nouveaux développements : Comptes bidons chez Google ?