Blogs: Turbulence ahead

A big clean is more commonly carried out in Spring... but there's no reason not to do so at the end of the summer! This indeed was my recent advice to Wikio regarding their famous Blog rankings. I told you recently that one of the projects which would be receiving my attention would be the rankings, in collaboration with you all. In fact, I completely reworked it, and, as promised [fr], I will provide you with the algorithm's details in the days to come. My first observation is that there was a significant amount of dust in certain nooks and crannies, which needed a little attention before we could progress and try to improve the rankings as a whole. This is not a criticism: such a ranking is an extremely technical undertaking and even the very big names have troubles with it (Technorati for example [fr]).



So, the various Wikio teams have spent September with broom in hand and the results are likely to ruffle a few feathers... There will surely be some grinding of teeth (there always is: not everyone can be on top), but the engine is now much cleaner. Several of you had noted that there were inactive blogs that had stuck around in the rankings, even though they had not published for a few weeks. Well no more - they're out. I got our developers to create several indicators, one of which flags up publication volume, that allow us to more closely follow the behaviour of the tens of thousands of sources in our database. All such blogs who had not published for four months have thus been jettisoned. Other indicators were a little more difficult to implement, but now in place they allow one to assess the similarity between sources and so address spammers, aggregators and multiple posting (which is sometimes legitimate, but such activity can seriously affect the analysis of backlinks, and thus the rankings as they are based solely on this criterion). So out also with aggregators and other doubles (a lot of the recent work was precisely this, dealing with the enormous presence of source duplication which is a delicate and extensive process).

I also implemented a small change, which has no bearing on the overall principle, but improves the transition from one month to another. Many of you had seen that there was sometimes a yo-yo effect, whereby blogs suddenly lose a large number of positions, or the opposite, they shoot up the rankings like a rocket. This was largely due to the time period used when analysing backlinks. This period as you will know is four months, but say a blog is very heavily buzzed in April, it will then appear high up in the rankings from May to August and then (if it is not further talked about in the mean time), suddenly plummet in September. Not ideal clearly. I thus replaced the straight four-month calculation with a progressive attenuation over nine months. So September's links have a value of 1, August's a value of 1 – 1/9, July's 1 – 2/9 etc. etc. The variations are now a lot more temperate.

Before

Now

Obviously this month there will still be a lot of change in the rankings as many things have been adjusted. The good news is that the clearing out of moribund or spammer blogs has cleared a number of places, and there are thus more blogs on their way up than on their way down. I don't yet wish to reveal the rankings as verifications are still being carried out, but there are some noteworthy and indeed worthy leaps. A few falls as well but that is to be expected. The summer entailed a drop in activity for many blogs but that is true everywhere (you will have likely seen the report on Technorati). It is of course up for analysis, but we hope at least to have provided an improved and cleaner ranking.

Blogs: Avis de turbulences

Le grand nettoyage, c’est traditionnellement au printemps... Mais rien n’empêche de donner aussi un bon coup de balai à la fin de l’été ! C’est ce que j’ai conseillé à Wikio à propos de ce fameux classement des blogs, qui fait couler beaucoup d’encre virtuelle tous les mois. Je vous ai dit récemment qu’un de mes premiers chantiers serait de le regarder de près, en collaboration avec vous. En fait, j’ai complètement décortiqué la machine (et comme promis je vais vous décrire l’algorithme en détail dans les prochains jours). Ma première observation est qu’il y avait un peu de poussière dans quelques recoins, qui méritaient nettoyage avant qu’on puisse aller plus loin et essayer d’améliorer le principe pour satisfaire le plus grand nombre d’internautes. Ce n’est pas une critique : tout cela est extrêmement difficile du point de vue technologique, et même les plus grands ont des soucis (voyez ceux de Technorati par exemple). Je vous ai donné mon propre sentiment personnel sur les classements et hit-parades de toutes sortes : je ne marche pas beaucoup à l’ego mais je vois dans le calcul d’un « Wikio Rank » un élément important d’organisation de l’information, comme c’est le cas sur le Web avec le Page Rank de Google (je m’en explique plus ici).


Donc, les équipes de Wikio ont passé le mois de septembre le balai à la main et ça va décoiffer... Il y a aura sans doute quelques grincements de dents (il y en a toujours : tout le monde ne peut pas être sur le podium), mais la machine est désormais bien plus propre. Vous aviez été nombreux à noter par exemple que certains blogs inactifs restaient (parfois assez haut) dans le classement, alors qu’ils ne publiaient plus depuis des semaines (voir par exemple chez Thierry Roget). Eh bien, exit. J’ai fait créer par les développeurs des indicateurs, dont un indicateur de volume mensuel, qui permettent de suivre de façon plus précise les dizaines de milliers de sources présentes dans la base de données (car il n’est pas question de suivre tout ça à la main, n’est-ce pas ?). Ont donc été sortis du classement tous les blogs qui n’avaient pas publié depuis quatre mois. D’autres indicateurs étaient un peu plus délicats à implémenter, mais ils permettent de juger de la similarité entre sources, et notamment de repérer les spams, agrégateurs et postages multiples (parfois légitimes, mais cela peut fausser les comptes de rétroliens, et donc le classement, puisqu’il est basé sur ce seul critère). Exit là-aussi les agrégateurs et autres doublons... (la plus grande partie du moins, car la lutte contre la duplication des sources est un travail difficile et jamais terminé – voir par exemple ici).

Dans la foulée, j’ai fait implémenter un petit changement, qui ne change rien au principe général, mais qui améliore la transition d’un mois sur l’autre. Certains d’entre vous l’avaient observé : il se produisait parfois un effet yoyo, avec des blogs qui perdaient d’un coup un grand nombre de places ou, à l’inverse, montaient d’un coup comme une fusée dans le classement. C’était dû en grande partie à la période temporelle utilisée par Wikio pour calculer les rétroliens. Comme il a été largement dit, cette période était de quatre mois. Mais supposons qu’un blog ait fortement buzzé en avril : il est haut dans le classement de mai à août, et puis (s’il n’a plus buzzé entre temps), il passe à la trappe d’un coup en septembre. Pas très bon. J’ai donc fait remplacer ce « signal carré » de quatre mois par une atténuation progressive, sur neuf mois. Les liens de septembre comptent pour 1, ceux d’août pour 1 – 1/9, ceux de juillet pour 1 – 2/9, et ainsi de suite. Les variations seront donc plus douces désormais.

Avant

Maintenant

Evidemment, ce mois-ci il va quand même y avoir des turbulences assez fortes, puisque beaucoup de choses ont été changées. La bonne nouvelle c’est que le nettoyage des blogs moribonds et sources redondantes a dégagé pas mal de places, et qu’il y a donc plus de blogs à la hausse qu’à la baisse. Je ne veux pas dévoiler le classement (les vérifications ne sont pas encore terminées, et il est possible qu’il bouge encore), mais je peux vous dire d’ores et déjà qu’il y aura de belles montées, comme Nowhere Else ou Vincent Abry. Quelques dégringolades aussi, mais beaucoup de blogueurs semblent s’être essouflés ces derniers temps (dont quelques célébrités). L’été a laissé beaucoup de monde sur le carreau. Mais le phénomène est mondial. Vous avez sans doute vu le rapport Technorati (excellente analyse chez Fred Cavazza). Même s’il est à prendre avec esprit critique (voyez les réserves tout à fait fondées d’André Gunthert), il est clair que la blogosphère se dégonfle quelque peu (et s’assainit ?).

---

A lire aussi

Pendant ce temps, la réflexion sur le classement continue. Cette semaine Vicnent nous livre la deuxième partie de son étude :

• Savez vous classer les choux ? Pardon, les Blogs ! (Part II/III)

Allegiques aux maths s'abstenir (je rigole, ce n'est quand même pas si compliqué, et c'est en tout cas très intéressant).

Google: Please find attached...

I’ve dreamt about it (and I’m sure you have too), Google have done it (in part at least)... How many times have you sent a message and later realized that you have forgotten to send the attachment? Embarrassment guaranteed. It has nearly come to be a standing joke with me to say that the automatic detection of missing attachments will be one of the best selling natural language processing programs in the world. A few years ago I even had discussions with students in my seminars on the various ways of developing such a function.

Well, believe it or not Google has announced that it has developed this function as part of GMail, under the mildly sexy name of "Forgotten attachment detector".



It must seem slightly magical to some of you, almost the stuff of science-fiction (could Google now be able to guess, or even anticipate our thoughts? It’s enough to make you shiver...). I am the first to denounce false announcements, which do more harm than good in the field of language technologies (there have been a slew of them over the last half century or more, on automatic translation, man-machine dialogue, and others). We know the problem with these technologies, and the greatest modesty still reigns. As I say in my first lesson, in fifty years we have managed to decode the human genome, but not the language... In this particular case however, I do believe it’s perfectly feasible.




How on earth has Google managed to do it? Honestly I have no idea, but I can tell you how I would have done it (and it seems to me to be just about the only way). The wrong way, in my opinion, is to scratch your head and try to find expressions to detect in the body of mails: "please find attached", etc. Even if you hire the best linguists in the world, the majority will still more than likely be missed.

So here’s my recipe:

• Take a very large mail base, millions, billions if possible (Google easily has that).
• Split them into two piles: mails with attachments, mails without attachments.
• Extract from each of the piles the dictionary of words that come up, or even better the n-grams that is sequences of n words that come up.
• With the use of statistical tools, extract the n-grams which appear frequently in mails with attachments and not in mails without attachments.
• For each new mail, check to see if one of these magical n-grams is present in the text, and if so trigger an alarm.

I’ve just done a little rough test with my own mails and I can see word sequences appearing like: "hereafter”, "attached file(s)”, "attachment(s)”, "I’m sending you”, "I’m forwarding to you”, "here is the report”, "here is the file”, "here is the/a document”, "here is the estimate”, "please find”, etc.

Of course, a program like this will generate a little noise (false alerts) and silence (missed attachments), but if 95% of cases can be detected, it’s a more than useful function.

My estimate:

• Building a prototype: one day.
• Developing and testing an operational version: one month.

Maybe I should offer my services to Google, since if I am to believe the mini-test featured on Pulse 2.0, it's not very good. The detector recognizes "I have attached", but not "Attach a document" or "Here is the attachment"... I tested this myself, with phrases like "Attached please find a copy of...", without much more success. Rather strange all the same.

It remains to be seen (after having resolved these few details...) if Google will offer a French version. I’ve already mentioned in the past the amount of time Google takes in localizing its products. Sometimes a few years. Watch this space.

Moteurs: Suggestions (Google, Orange, Yahoo)

Ca m'a amusé hier ou avant hier de voir le nombre de posts qui nous disaient que Google avait un petit logo festif pour célébrer la venue de l'automne. Très joli, d'ailleurs, mais bon, les trois quarts des internautes l'avaient probablement déjà vu, sans doute même en page d'accueil de leur navigateur... Mais trêve de persifflage. Il y a une fonctionnalité qui a été beaucoup moins commentée, c'est l'apparition de Google Suggest en français. Je pense que c'était à la fin août. J'ai été un peu bousculé à cette période-là et je n'ai pas blogué sur le champ, mais je me permets d'y revenir, car je trouve cette fonctionnalité assez intéressante du point de vue des technologies du langage, qui après tout sont le thème de ce blog...


J'avais salué l'apparition de ces suggestions sous la boîte de recherche en décembre 2004 (ouf... ça me fait penser qu'il faut peut-être que je change ma photo dans le coin, je commence à avoir la barbiche qui grisonne...). Lorsqu'on tape les premières lettres d'une requête, Google affiche les requêtes les plus fréquentes dans ses logs qui commencent par le même préfixe (avec quelques petits filtres : tapez encu..., salo... pour voir ;-). A l'époque les interactions communément appelées Ajax étaient moins répandues et le tour de force technique (quand on pense à la volumétrie...) était donc assez remarquable. Jusqu'ici, la fonctionnalité n'existait que pour l'anglais. Il a donc fallu presque quatre ans pour que Google la localise (ce qui rejoint la remarque que je faisais l'autre jour à propos du détecteur d'attachements manquants). Et encore, sauf erreur de ma part elle n'est pas disponible sur www.google.de, ni .it, ni .es. Google est décidément un produit américain.

Mais ne boudons pas notre plaisir. Je suis sûr que ce petit outil va intéresser les référenceurs...

Si la fonction Suggest de Google est passée assez inaperçue, celle d'Orange a carrément été zappée. Pourtant (en début de cette année, si mes souvenirs sont bons), LeMoteur (c'est juste son nom ;-) a lancé une boîte analogue :


Yahoo propose également une boîte de suggestion, je l'avais d'ailleurs annoncée ici en février. C'est peut-être la plus élaborée des trois. Les suggestions ne sont pas seulement basées sur le préfixe, mais sur l'apparition de la chaîne n'importe où dans la requête (par exemple Etap Hôtel est proposé pour hôtel).



Sur une même requête (ci-dessus hôtel), l'intersection n'est pas vide (on retrouve hôtel paris, hôtel ibis, etc.) mais il y a des différences. Les champions SEO vont donc apprécier de pouvoir compléter la liste ;-)

Autre exemple assez compétitif :

Google

Orange LeMoteur

Yahoo

Les référenceurs vont s'amuser (c'est sans doute déjà le cas, surtout s'ils maîtrisent les gadgets du genre XMLHttpRequest et s'ils savent manipuler TOR, mais je ne veux pas donner de mauvaises idées...)

Blogs: Indices d'autorité relative ?

Je me permets de vous signaler un excellent article de Christophe (Ouinon.net). Christophe est l'auteur de la magnifique carte des blogs francophones dont vous vous souvenez certainement, et a participé l'autre soir à la première "Wikio Labouffe" (voir ici, ici ou ici)...

Classements de blogs : établir des indices « d'autorité relative » ?

Sachant que la plupart des formes de classements de blogs se base sur les liens (entre autres critères, mais c'est souvent le critère principal), mon axe de réflexion se porte sur le rapport entre l'usage des liens et les divers types de lecteurs qui consultent les blogs.


[Lire la suite chez Christophe]

Ne cliquez pas sur le lien si vous êtes pressé. C'est un article long et détaillé, qui vous entraînera sur de passionnantes réflexions... Il complète de façon excellente l'analyse de Vicnent que j'ai déjà signalée l'autre jour, ce compte rendu d'Olivier (Affordance) ou ce billet de Christophe Berge. A lire aussi, l'analyse de Jean-Marie sur le rapport Giazzi (voir également chez Narvic)...

Je n'ai pas l'intention que ce blog se transforme en revue de liens (il faudra peut-être que je mette en place un outil quelconque sur Wikio Labs quand j'aurai un peu de temps...), mais je me permets aussi de vous signaler des réactions très pertinentes sur l'affaire de Wikio et les robots :

• Wikio : deux cartons jaunes = un rouge
  
• Trafic, backlinks, popularité, agrégateurs, digg-like, Wikio et le sourire de la crémière

Comme toujours les commentaires sont aussi intéressants que les articles...

Ça cogite ferme en ce moment !
Bonne semaine à tous.

Google: Veuillez trouver ci-joint...

J'en ai révé (vous aussi sans doute), Google l'a fait (en partie au moins)... Combien de fois avez-vous envoyé un message en réalisant quelque temps plus tard que vous avez oublié la pièce attachée ? Embarras garanti. C'est presque devenu pour moi une plaisanterie standard de dire que la détection automatique des attachements manquants serait l'un des programmes de traitement automatique des langues les plus vendables au monde. J'ai même eu il y a quelques années des discussions avec des étudiants dans mes séminaires sur les diverses façons de développer une telle fonctionnalité.

Eh bien, figurez-vous que Google annonce avoir mis au point cette fonctionnalité dans le cadre de GMail, sous le nom moyennement sexy de "Forgotten attachment detector".


Cela paraît sans doute un peu magique à certains d'entre vous, limite science-fiction (Google pourrait-il désormais deviner, voire anticiper nos pensées ? Ça fait frémir...). Je suis le premier à dénoncer les annonces bidons, qui font plus de mal que de bien au domaine des technologies du langage (on en a eu une flopée depuis un demi-siècle ou plus, sur la traduction automatique, le dialogue homme-machine, et autres). On connaît la difficulté de ces technologies, et la plus grande modestie est toujours de mise. Comme je dis dans mon premier cours, en cinquante ans on a réussi à décoder le génome de l'Homme, pas son langage... Mais dans ce cas précis, je pense que c'est tout à fait faisable.


Comment Google a-t-il bien pu faire ? Honnêtement je n'en sais rien, mais je peux vous dire la façon dont j'aurais procédé (et qui me paraît être à peu près la seule). La mauvaise idée, à mon avis est de se creuser la tête et d'essayer de trouver des expressions à détecter dans les mails : "veuillez trouver ci-joint", etc. Même en recrutant les meilleurs linguistes du monde, on a toutes les chances d'en rater la plus grande partie.

Voici donc ma recette de cuisine :

• Prendre une très grande base de mails, des millions, milliards si possible (Google a largement ça).
• Faire deux paquets : les mails avec attachement, les mails sans attachement.
• Extraire de chacun des deux paquets le dictionnaire des mots rencontrés, ou encore mieux des n-grammes c'est-à-dire des suites de n mots rencontrés.
• Extraire à l'aide d'outils statistiques les n-grammes qui apparaissent fréquemment dans les mails avec attachement et pas dans les mails sans attachement.
• Pour chaque nouveau mail, regarder si un de ces n-grammes magiques est présent dans le texte, et si oui déclencher une alerte.

Je viens de faire un petit essai à la louche dans mes propres mails et je vois apparaître des suites comme : "ci-joint(e)(s)", "fichier(s) attaché(s)", "pièce(s) jointe(s)", "je t'envoie", "je te fais parvenir", "voici le compte-rendu", "voici le fichier", "voici le/un document", "voici le devis", "veuillez trouver", etc.

Bien entendu, un tel programme comportera un peu de bruit (des fausses alertes) et de silence (des attachements ratés), mais si on détecte déjà 95% des cas, c'est une fonctionnalité plus qu'utile.

Mon estimation :

• Réalisation d'une maquette : un jour.
• Développement et test d'une version opérationnelle : un mois.

Peut-être vais-je proposer mes services à Google, car si j'en crois le mini-test paru sur Pulse 2.0, ce n'est pas brillant. Le détecteur reconnaît "I have attached", mais pas "Attach a document" ni "Here is the attachment"... J'ai testé moi-même, avec des phrases comme "Attached please find a copy of...", et je n'ai guère eu plus de succès. Un peu gros quand même.

Reste à savoir si (après avoir reglé ces quelques détails...) Google proposera une version française. J'ai déjà mentionné dans le passé les délais importants de Google pour la localisation de ses produits. Parfois plusieurs années. A suivre, donc.

Blogs: Wikio et les robots

Ce n'est pas le titre d'un nouveau roman de science-fiction, mais le thème d'un débat qui anime ce matin la blogosphère...


Je ne voudrais pas décourager les lecteurs de ce blog (qui ne sont pas toujours des "geeks") par des considérations trop techniques, mais pour résumer de façon très grossière, certains blogueurs trouvent que Wikio a tort de placer la directive "disallow" dans le fichier "robots.txt" de son site, qui empêche les robots (Google, mais pas seulement) de suivre les liens vers les billets indexés.

Comme vous le savez, Pierre Chappaz m'a demandé il y a quelque temps d'être conseiller scientifique de Wikio : j'ai donc donné mon avis sur ce point. Je pense aussi que ce n'est pas une très bonne idée de garder une telle directive. En discutant avec l'équipe de Wikio, je comprends qu’elle a été mise dans "robots.txt" au tout début, pour éviter d’attirer les spammeurs de la terre entière, qui ne seraient que trop heureux que Wikio leur transmette du Page Rank... Il faut bien voir que le spam est une vraie nuisance, extrêmement difficile à filtrer. Sans mesures efficaces, ce serait une invasion constante de flux RSS bidons... Prenez par exemple une page telle que la page sur le Viagra :

http://www.wikio.fr/sante/medicaments/viagra

Elle n'est pas trop spammée, n'est-ce pas ? Imaginez une seule seconde qu'il n'y ait pas de protection !

Mais depuis quelque temps Wikio fait (avec mon aide modeste) un très gros travail de nettoyage et de filtrage. J'ai suggéré à Wikio d'enlever immédiatement ce "disallow" qui traîne pour des raisons purement historiques, car Wikio a maintenant la capacité de se prémunir du spam par d’autres moyens.

Pierre a été immédiatement d'accord, et assez ennuyé en fait de voir que ça avait créé un tel problème. Le fichier "robots.txt" va être modifié dans les meilleurs délais ; c’est peut-être déjà fait au moment où j’écris ces lignes.

Merci à Wikio pour sa réactivité et son écoute.

---

PS

• Confirmation : c'est passé en production (voir robots.txt)
  
• Bonne analyse chez Jean-Marie Le Ray
  
• Note : je ne suis pas porte-parole de Wikio, comme j'ai pu voir sur un forum. Sur ce cas précis, j'ai plutôt l'impression d'avoir été porte-parole des blogueurs auprès de Wikio ;-)

Blogs: Idées en tous sens

Les idées fusent... Après les longs billets de Vicnent, Olivier Ertzcheid, les outils d'Olivier Ruffin et Thierry Roget, Christophe Berge nous livre une analyse détaillée de ce qu'il aimerait voir évoluer sur Wikio. C'est en fait un véritable audit auquel il se livre ! Je vous le laisse découvrir (et commenter !) sur son site (ou ici, évidemment) :

Dans le contexte du travail du Wikio Labs, le cercle de réflexion sur le futur de Wikio (mais si, vous savez, Jean explique tout sur son blog), voici ma première listes de fonctionnalités que Wikio pourrait proposer :

Lire la suite chez Christophe

Christophe n'a pas pu nous rejoindre hier soir, mais nous avons eu avec Pierre et quelques comparses (voir la liste chez Jérôme Charron alias Motrech) la première "Wikio Labouffe" au Joe Allen. Soirée incroyablement stimulante et enrichissante. De l'oxygène pur ! On va essayer de trier tout ça, et de vous en faire profiter, mais je plonge d'ores et déjà dans le cambouis pour travailler sur quelques-unes des pistes qui ont été lancées...

---

PS

• Voici aussi le mot d'Emilie qui nous a rejoint pour cette "Labouffe".
  

Blogs: Réflexion sur les outils de recherche

Après le long billet de Vicnent sur la façon de classer les choux blogs (on attend la suite !), voici qu'Olivier Ertzcheid nous livre un superbe compte rendu de l'article de Marti Hearst, Matthew Hurst et Susan Dumais "What should blog search look like ?" (pdf). 

Si cet article a attiré mon attention, c'est pour plusieurs raisons, et tout d'abord le "profil" de ses trois auteurs. L'article est en effet rédigé par Marti Hearst, professeur à Berkeley et spécialiste de la navigation et des interfaces "à facette", Susan Dumais (Microsoft), inventeur de l'indexation sémantique latente et spécialiste des interactions homme-machine, et Matthew Hurst (Microsoft), blogueur et inventeur du remarquable outil BlogPulse...

Lire la suite

N'hésitez pas à commenter, chez Olivier, ou ici bien sûr. La réflexion avance ! Effet Wikio Labs ?

Blogs: Wikio enlève le haut

Je sais bien que depuis mon annonce des Wikio Labs, beaucoup d’entre vous aimeraient aller droit au but : qu’y a-t-il donc dans les recoins les plus intimes de ce satané classement Wikio qui déchaîne tant de passion chaque mois ? Mais comme dans tout strip-tease qui se respecte, il faut faire les choses dans l’ordre, faire un peu monter la pression (ou autre chose ;-) Donc, aujourd’hui on n’enlève que le haut...

Blague à part, j’ai besoin, avant d’expliquer les « gory details » du classement, de vous expliquer un certain nombre de petites choses sur le fonctionnement de Wikio, et, sinon d’y répondre, au moins de poser la question : « A quoi ça sert, un classement de blogs » ? J’en profite pour vous livrer tout de suite ma position personnelle sur la question : les vieux lecteurs de ce blog savent que je ne suis pas un accro des stats et de l’égomètre. Bien sûr, ça m’a amusé comme un gamin quand j’ai vu que ce blog, démarré sur un coin de table, dépassait le million de « visiteurs uniques », mais il faut garder la tête froide... Tout le monde peut avoir ses « 15 minutes of fame ». D'ailleurs, que le Monde me classe dans les « leaders d’opinion » à la Une, voilà qui m’a franchement fait rigoler ! Je crois que je n’ai pas assez d’ego pour m’exciter sur ce genre de choses (et quand la tête commence à me tourner, bien que je sois un incurable mécréant, je relis ce texte, qui est à mon sens un des plus beaux de notre héritage...). Le classement Wikio m’intéresse pour de tout autres raisons.

*

Tout d’abord, l’océan d’informations dans lequel nous vivons désormais est de plus en plus difficile à la navigation. Vous vous souvenez peut-être de l’âge d’or de l’annuaire Yahoo ! quand le Web est apparu. Quelques catégories bien organisées de façon arborescente, quelques clics et vous aviez l’univers virtuel entier sous la souris... Les choses ont bien changé. Le Web est devenu d’une taille et d’une complexité effarante, et ce serait bien difficile de s’y retrouver sans instruments adéquats. Pour ne parler que des blogs, il y en a quelques millions qui traînent, rien qu’en langue française, mélangés de surcroît à des agrégateurs, du spam, des piles, des listes de bookmarks et autres objets virtuels plus ou moins bien identifiés. Comment découvrir rapidement les blogs sur mes centres d’intérêt ? Littérature, cuisine, vins, équitation, que sais-je ? Dans un commentaire sur un précédent billet, Christelle nous expliquait par exemple que l’idée de classement l’intéresse comme outil de navigation et de décryptage du média internet avec ses élèves collégiens. Elle suggérait (c’est une excellente idée) de créer une catégorie « Education ». Voilà qui serait un bon point d’accès pour tous les profs qui cherchent des blogs sur le sujet !

Voilà donc la première utilité pour moi d’un classement de blogs. Evidemment, cela peut avoir des effets pervers. Ainsi, qu’une ministre nouvellement nommée se serve du top 10 du classement Wikio High-Tech pour choisir ses interlocuteurs sur l’évolution de la recherche en France ou la réforme des Universités, ou que sais-je encore, voilà qui est quand même un peu fort de café... Et, bien entendu, la tentation est grande pour les journalistes de se servir des « célébrités » du top 10 ou 20 à tout bout de champ pour alimenter leurs papiers. Nicolas (ex-Versac) nous a expliqué qu’il a fini par vivre ça comme un harcèlement. Je conçois que ce soit lourd à porter, comme toute exposition médiatique. Mais ce sont des épiphénomènes, à mon sens, d’ailleurs à part quelques blogueurs du « top » (non professionnels, évidemment, car les autres se réjouissent), personne n’a à souffrir trop de cette surexposition...

*

Deuxième aspect, qui m’intéresse encore plus, en tant que chercheur, le classement est la base du tri et de l’organisation des articles, de façon à présenter les nouvelles et billets les plus « pertinents » (notion bien difficile à cerner, nous y reviendrons !) à l’utilisateur. Le Web a sa potion magique : le « Page Rank » (même s’il a bien évolué dans la pratique depuis la belle formule initiale simple et propre comme du cristal). Le classement Wikio reprend globalement la même idée : mesurer l’ « influence » des sources grâce à leurs rétroliens (nous entrerons dans les détails dans les billets suivants, promis). C’est ce qui permet d’afficher les informations de façon lisible sur le site, en faisant apparaître en premier les informations les plus « pertinentes » dans les pages de résultats ou en choisissant des « têtes » représentatives dans le groupage des infos similaires. A part l’aspect com et le buzz médiatique mensuel, il a donc une utilité profonde : c’est lui qui vous permet d’avoir des résultats à peu près présentables sur les pages d’infos. Chaque blog a un « poids » qui résulte directement du classement, de façon très analogue au Page Rank de Google : 7 pour le top 100, 6 pour le top 1000 et ainsi de suite. On peut bien sûr discuter des paramètres, et de la façon de décider algorithmiquement de la pertinence (et c’est ce que nous ferons – en attendant je vous conseille la lecture du billet de Vicnent, qui nous fait un inventaire magistral des différents paramètres que l’on pourrait prendre en compte), mais qui voudrait voir 125 fois la même information sur une page (c’est ce qui se passe quand une nouvelle importante arrive), ou à l’inverse voir en tête des résultats papy et mamy qui s’extasient de la naissance du petit dernier ? Ce sont donc des choses à garder en tête quand nous discuterons des pistes d’amélioration !

---

A lire

• Savez-vous classer les choux ? Pardon, les Blogs (part I/III)

(on attend la suite avec impatience, Vicnent !)

Wikio: Classement des blogs en OPML

L'annonce des Wikio Labs a généré pas mal de réactions, toutes positives. J'en suis ravi ! Et je vois que des initiatives se mettent déjà spontanément en place... J'essaierai de les relayer sur ce blog, en attendant qu'on mette en place des outils collaboratifs plus sérieux (wiki ou autres).

Ce matin je découvre ce billet de Christophe Berge :

• Le Classement des blogs Wikio en OPML

Tous les lecteurs de Technologies du langage ne sont pas des "geeks", donc je me permets de préciser qu'OPML (Outline Processor Markup Language) est un format XML permettant de regrouper et d'identifier les titres de section d'un document. Il peut être appliqué à différentes choses, et notamment à des listes d'URL et de flux RSS.

Voilà donc une contribution très utile de notre ami Christophe ! Comme il le rappelle, il y a quelque temps Olivier avait proposé un outil du même type sur Veille Perso :

• Wikio en OPML pour découvrir de nouveaux blogs

Wikio a ce développement dans sa pile (très longue) des choses à faire, mais ils ont été plus rapides !

Bravo à tous deux et merci pour cette première contribution... Les premiers éléments d'une communauté d'utilisateurs qui partagent des données et des outils sont peut-être en train d'émerger !

Actu: Naissance de Wikio Labs

Scoop: Wikio se lance dans la recherche et crée Wikio Labs. Ayant critiqué souvent le fait que l'accès à l'information mondiale était dans les mains quasi exclusives de trois entreprises américaines (Google, Yahoo, Microsoft), je ne peux qu'applaudir des deux mains l'émergence d'une équipe française à la pointe dans le secteur de la recherche d'actualité. Bien entendu, les "Labs" de Wikio n'auront pas la taille des géants d'Outre-Atlantique, mais vous savez que les villages gaulois, même petits, arrivent parfois à tailler des croupières aux empires ;-)

labs.wikio.net

Pour l'instant c'est encore une coquille vide, mais nous allons la remplir ensemble !

Scoop dans le scoop : Pierre Chappaz m'a demandé de devenir officiellement Conseiller scientifique de Wikio, et d'y piloter cet effort de recherche. Notre collaboration est déjà en route depuis plusieurs mois, comme vous l'avez remarqué si vous lisez régulièrement ce blog, avec mes recherches sur les arbres et les nuages, le buzz, et quelques petites choses dont je ne vous ai pas encore parlé, mais que je vous montrerai bientôt. Cet effort de recherche se fera en collaboration avec mon laboratoire universitaire, le Laboratoire d'Informatique Fondamentale de Marseille (je vois déjà poindre pas mal de sujets de master et de thèse !) ou avec d'autres labos comme le Laboratoire Informatique d'Avignon et l’Institut Eurecom (avec lesquels des projets sont déjà en cours), l'équipe RTGI (vous vous souvenez de l'Observatoire de la présidentielle, de la Blogopole, et du Tendançologue ?), et quelques jeunes chercheurs brillants.

J'ai accepté avec plaisir, car j'ai déjà dit tout le bien que je pense de la technologie sous-jacente à Wikio. Bien entendu, tout n'est pas parfait, je ne suis pas naïf (et c'est même pour ça que la recherche est utile, n'est-ce pas ?), mais si l'on regarde du côté des concurrents, côté actu (Google News par exemple), ou côté blogs (Technorati, Blogsearch), on s'aperçoit que Wikio n'a pas à rougir de honte. Après avoir analysé la machine en détail, je pense même très honnêtement que le petit village gaulois a une longueur d'avance sur l'Empire côté techno. Ça ne se voit pas toujours suffisamment, il y a chez Wikio un look "aggrégateur RSS" qui le dessert, mais justement, c'est ce qui va évoluer -- avec votre aide, et votre collaboration, si vous le voulez bien, car ce que j'ai proposé à Pierre Chappaz est de faire toute cela de façon ouverte, comme j'avais commencé à le faire très modestement sur ce blog, en montrant petit à petit des maquettes, des esquisses, des essais. Je sais qu'il y a ici des lecteurs à l'oeil de lynx et aux remarques acérées (mais toujours très utiles) : ils pourront s'en donner à coeur joie, et participer à la réflexion sur ce que peuvent être les outils de navigation modernes dans l'actu et dans les blogs. Essayons de faire avancer tout ça ensemble !

L'un des premiers chantiers sera peut-être une réflexion sur le fameux classement Wikio, qui a fait couler pas mal d'encre virtuelle ces derniers mois, et fait l'objet de pas mal de polémiques : il y a eu ceux qui se trouvaient trop bas et enrageaient de ne pas monter, ceux qui se trouvaient trop haut et ne supportaient plus la pression (si !), les adeptes de la théorie du complot ("Wikio magouille") et ainsi de suite... J'ai eu, l'air de rien, un été très studieux (ce qui ne m'a pas empêché de prendre l'air et de monter à cheval tous les matins : je suis en pleine forme, merci ;-) et j'ai plongé dans les arcanes de Wikio et visité ses boyaux les plus secrets. La première chose à faire, si vous voulez mon avis, c'est déjà expliquer comment ça marche, car il y a bien quelques explications sur le site Wikio, mais elles sont succintes (et pas toujours complètement comprises).

Tout sera sur la table, promis. C'est à cette condition que j'ai accepté le deal avec Pierre : je suis universitaire, j'aime la clarté et l'ouverture, et mon seul but est de faire avancer la réflexion et les outils (certains ont dit que j'étais même "utilomane", souvenez-vous). Dans les prochains jours, attendez-vous donc à une série de billets, qui expliqueront les mécanismes du classement (simples au demeurant !), exposeront honnêtement les points noirs et les difficultés (si vous croyez qu'il n'y en a pas et que le Web est un univers facile, je vous conseille d'autres lectures ;-) et qui essaieront de répondre à vos questions. Car je sens qu'elles vont fuser ! Mais c'est le but. J'aimerais que nous puissions réfléchir ensemble. J'ai apprécié depuis quatre ans votre contact, vos remarques toujours pertinentes, toujours constructives. J'espère qu'au-delà de ce groupe de lecteurs fidèles, des blogueurs qui ont déjà planché sur la question (je pense à Olivier Ertzcheid, Philippe Lagane, Jean-Marie Le Ray, Thierry Roget, Oliver Rufin , Jérôme Charron, Vincent Abry, Christophe Berge, Versac, Vicnent --pardon à tous ceux que j'oublie) nous feront profiter de leurs remarques et de leurs idées. Considérons Wikio Labs comme une plateforme d'expérimentation communautaire !

En tout cas, c'est comme ça que je vois les choses (et Pierre aussi). Merci à tous, une fois de plus !