Outil: Wikio Trends

J'avais dévoilé il y a quelque temps l'existence du projet Wikio Trends, et je vous avais montré quelques copies d'écran, mais seuls quelques heureux privilégiés avaient eu jusqu'ici la possibilité de tester la version en cours de développement. L'outil est maintenant relativement abouti, et j'ai donc le plaisir de vous annoncer sa sortie publique sur Wikio Labs :


Cet outil est le digne successeur du Chronologue, que j'avais développé pour l'éphémère moteur de Free (Dir.com), et dont les vieux lecteurs de ce blog se souviennent peut-être (2005 que c'est loin !). L'interface est très simple: vous tapez dans la boîte de recherche le nom d'une catégorie Wikio, et l'outil vous affiche l'évolution du volume de news publiées dans cette catégorie. Par défaut Trends affiche les trois derniers mois. Voici par exemple la courbe de la catégorie Thierry Henry — nul doute que vous devinerez à quoi correspond ce pic de buzz !


On peut remonter dans le temps jusqu'au 1er janvier 2008. Saurez-vous deviner à quoi correspond le pic de buzz de Rachida Dati le 2 janvier 2009 ?


Vous pourrez également vous amuser à comparer vos personnages favoris, et pourquoi pas des entreprises ou des marques (je sens que ça va intéresser quelques marketeux de mes connaissances ;-). Voici par exemple le duel Renault/Peugeot :


On voit que Renault écrase Peugeot au niveau de la com'. Nul doute que la F1 y soit pour quelque chose... Et pas toujours en bien: le maxi buzz du 21 septembre 2009 est lié à l'accusation de triche et à la suspension de Renault de la F1...

Deux petits regrets... Ce serait extrêmement intéressant de pouvoir cliquer sur les pics et de voir les news archivées pour ce jour-là ! Eh bien, figurez-vous que c'est prévu. La fonctionnalité est en cours de développement. Par ailleurs, l'outil a une limitation : il ne peut afficher que les catégories qui ont été prédéfinies dans Wikio, et vous ne pourrez pas faire de recherche libre (style "cueillette champignon"). Dommage, mais ça, ça ne sera pas possible de l'améliorer dans un futur prévisible. Mais vous devriez pouvoir vous amuser quand même : il y a environ 200 000 catégories rien que pour la France !

Une dernière chose pour les matheux (je sais que vous allez demander !). L'échelle verticale du diagramme principal donne un volume de news normalisé, c'est-à-dire ramené à un volume quotidien constant de 10 000 news, de façon à annuler les effets dus aux variations globales du nombre de news (soit sur le Web d'une façon générale, par exemple pendant les vacances ; soit chez Wikio, à cause de l'augmentation régulière du nombre de sources). Le diagramme du bas schématise d'ailleurs l'évolution du volume total de news.

Et maintenant, à vous de jouer !

Wikio: 300 000 blogs francophones

Après l'Espagne, c'est Wikio.fr qui vient de dépasser les 300 000 sources (environ 302 000 blogs et 10 000 médias). L'opération était assez délicate sur le français, car cette langue est bien moins présente sur le Web que l'espagnol (et que l'anglais, bien évidemment). Le Web est comme un immense lac : ses eaux sont pures en surface, mais plus on descend, plus on ramène de la vase, et des bestioles bien peu ragoûtantes remplacent les jolis petits poissons argentés... Car il ne s'agit pas d'intégrer tout et n'importe quoi pour faire du chiffre (sinon, il suffirait d'absorber quelques millions de Skyblogs, et le tout serait joué...). J'ai donc encore dû affiner mes algos. On ne s'ennuie jamais sur le Web: en plus du porn et du spam habituels (médicaments, etc.), j'ai constaté cette fois-ci par l'émergence du spam sur les jeux en ligne, qui épargnait relativement le français jusqu'à présent (j'en avais trouvé assez peu au mois de mars). Mais il est évident que la fin annoncée du monopole de la Française des Jeux a déjà donné des idées aux spammeurs...

Au total, tous pays confondus, le million de blogs est largement dépassé. La base Wikio contient près de 1 200 000 sources, dont 30 000 médias. Le diagramme ci-dessous montre l'évolution au cours de l'année. Les sauts successifs correspondent à mes différentes campagnes de sourcing pour chacune des langues : le nombre de sources a été multiplié par plus de 6 depuis le début 2009.


La question que vous vous posez peut-être est : jusqu'où cela peut-il aller ? Il est assez difficile d'estimer la taille de la blogosphère... J'ai le sentiment, néanmoins, qu'en ce qui concerne les blogs francophones, elle est de l'ordre de 500 000 (toujours hors Skyblogs bien sûr).

Mais on va marquer une petite pause pendant les fêtes, histoire de laisser les machines digérer tout ça. Car vous imaginez bien que le changement d'échelle ne pose pas seulement des problèmes d'algorithmes de crawl et de filtrage, mais aussi des problèmes conséquents d'architecture et d'exploitation. Il ne s'agirait pas de tout faire péter entre Noël et le Jour de l'An !