Web: Le futur selon Yahoo

[Version anglaise - English version]

Eric Baillargeon me signale que les présentations du 10ème Search Engine Meeting, qui s'est tenu à Boston les 11 et 12 avril sont en ligne.

Je suis très flatté de voir que Jan Pedersen, Chief Scientist de Yahoo! me fait l'honneur de citer mes travaux sur Google et de reprendre certaines de mes figures dans l'exposé introductif de la conférence :

Sacré vanne, quand même, pour commencer la conf, car cette diapo compare les comptes chez Yahoo et chez Google, et elle n'est pas vraiment à l'avantage de ce dernier...

La présentation de Jan, intitulée "Internet Search Engines: Past and Future", est très intéressante, non qu'elle dévoile, bien évidemment, des choses que nous ne connaîtrions déjà, mais les voir affirmées dans la bouche du Chief Scientist de Yahoo! leur donne une certaine force. Je remarque pour ma part la façon très soigneuse avec laquelle Jan utilise le terme "claimed" pour parler des tailles d'index des différents moteurs. "Claimed", c'est-à-dire ce que les moteurs prétendent... Dans la diapo qui suit celle ci-dessus, Jan souligne les disparités entre ce qui est annoncé et ce qui est observé, en insistant également sur le fait qu'il y a dans les comptes une bonne proportion de ce qu'il appelle les "thin docs", c'est-à-dire des documents "minces" : pages quasi vides, simples URLs, etc.

Les perspectives officielles de Yahoo! pour le futur ressemblent comme deux gouttes d'eau à celles de Google. Recherches en tous genres : images, pages locales, produits, desktop, etc. Cette diversification de l'offre est certainement nécessaire pour occuper le terrain, mais je note que pas grand chose n'est dit de l'amélioration de ce qui au coeur du business, à savoir la qualité du moteur lui-même. C'est pourtant à mon sens ce qui attire au départ bien des internautes et les fidélise : rapidité, pertinence et "fraîcheur" des résultats, etc.

Ce silence est d'autant plus étonnant que des recherches acharnées sont en cours chez les uns et les autres. Je vois, en ce qui me concerne, deux améliorations cruciales (au moins), qui détermineront le succès des moteurs dans les années à venir :

1. Le classement des résultats, qui est basé à l'heure actuelle trop exclusivement sur la notoriété (algorithmes de type PageRank). Ce type de classement produit des aberrations, dont je me suis moqué à diverses reprises sur ce blog (par exemple ici et ici), et rend les moteurs très vulnérables aux spammeurs.

2. La présentation des résultats. Pour l'instant, les résultats nous arrivent en vrac. Or quoi de plus déplaisant, par exemple, que de trouver les résultats concernant les barrages d'instruments de musique noyés au bout de la n-ième page de résultats sur les barrages hydrauliques ?

Les technologies qui permettront d'améliorer sensiblement ces deux points reposent sur le traitement automatique du langage. Par exemple, la pertinence du classement devra être établie requête par requête : la notoriété d'un site n'implique pas qu'il soit pertinent pour tous les mots-clés, et seul un examen linguistique approfondi des sites peut déterminer quels mots sont pertinents pour un site donné. L'amélioration de la présentation des résultats passe par une désambiguïsation (même grossière) des mots dans les pages (barrage hydraulique ou de lutherie ?), et par une aggrégation des résultats par thèmes (clustering, en bon franglais). Yahoo! nous montre quelques essais timides (d'autres moteurs, comme Exalead font un peu mieux, mais on est encore loin de résultats satisfaisants) :

On remarquera que le même type de technologie est nécessaire à une meilleure adéquation des annonces avec les requêtes et les résultats -- adéquation qui pour l'instant laisse fortement à désirer (particulièrement dans les langues autres que l'anglais). Si l'internaute ne s'en soucie peut-être pas beaucoup, la mauvaise qualité des appariements constitute une perte dramatique de revenus pour le moteur.

Ces recherches sont stratégiques, et le silence officiel de Yahoo! est tout à fait éloquent. Car Jan Pedersen, que Yahoo! a recruté comme Chief Scientist, est justement un spécialiste du traitement automatique du langage. Il se trouve que je connais bien ses travaux (et vice-versa) car le monde est petit, et notre domaine de recherche est identique. Jan s'est distingué dans les années 90 par plusieurs études très pertinentes sur l'étiquetage grammatical des textes (comment reconnaître si porte est un nom ou un verbe ?) [1] et la désambiguïsation sémantique (comment reconnaître si barrage est un ouvrage hydraulique ou un élément de lutherie ?) appliquée à la recherche d'information [2]. On pourra également lire avec intéret son travail récent qui donne une idée de l'algorithme de classement utilisé par Yahoo! en lieu et place du PageRank (qui appartient à Google) [3].

Tout cela n'est pas un hasard. Comme je l'ai dit souvent ici, le langage est au centre de l'information ; même lorsqu'on cherche des images on tape des mots. La recherche de l'information ne progressera qu'avec l'amélioration des technologies du langage. Mais je comprends que la compétition soit rude, et qu'il vaille mieux ne pas trop en parler devant les concurrents !

---

Pour en savoir plus

[1] Cutting, D., Kupiec, J., Pedersen, J., Sibun, P. (1992). A practical part-of-speech tagger. Proceedings of the third conference on Applied natural language processing (pp. 133-140). Trento, Italy. [pdf]

[2] Schutze, H., Pedersen, J. (1995). Information retrieval based on word senses. Proceedings of the 4th Annual Symposium on Document Analysis and Information Retrieval (pp. 161--175). Sheffield, United Kingdom. [ps]

[3] Broder, A. Z., Lempel, R., Maghoul, F., Pedersen, J. (2004). Efficient PageRank Approximation via Graph Aggregation. Proceedings of the Thirteenth International World Wide Web Conference (pp. 484-485). New York, U.S.A. [pdf]