Study: Twitter and the blogosphere

Everyone has noticed that amongst its many uses, Twitter serves as a means of promoting blog posts, taking up the slack of the role played by backlinks, which has been on the wane. No one, however, has managed to ascertain the rate and scale of Twitter's penetration into the blogosphere. Put in other words, how many bloggers have a Twitter account? And does the proportion of such bloggers vary from country to country?

During the last few weeks, I have conducted a study aimed at finding the answers to these questions, or at least the beginnings of them. I thus selected the top 25,000 blogs from each of the rankings for the six Wikio sites - UK, US, Germany, Spain, Italy and France - giving 150,000 blogs in total. All of these were "active" blogs, meaning they had all published a blog post in the preceding two months.

The blogs and Twitter accounts were compared using various algorithms, taking into account the fact that certain blogs can have several Twitter accounts (especially in the cases of multiple authors), and that a single blog can be linked to several Twitter accounts. A methodological limit was placed on the exercise: I looked only for associations or pairings stated explicitly with the mention of a blog on a user's Twitter page or a mention of a Twitter account on blog home page (or both). We can probably assume that some bloggers who have a Twitter account that is not mentioned or listed anywhere escaped our gaze.

Also, a multitude of variations can interfere with the formulation of a URL for a given blog and even though several measures were put in place to account for this, unquestionably some associations between a blog and a Twitter account will have been missed. A manual test was carried out for each language that showed the associations missed was probably of the order of 1%. The figures given by the study thus seem reasonably trustworthy.

The proportion of blogs with an associated Twitter account varies significantly according to the country in question. Unsurprisingly we see that the US boasts the highest proportion (32.1%), versus 20.7% for the greatest proportion found amongst the European countries in Spain. France comes in second last with 13.5%.

Proportion of blogs with an associated Twitter account in the Top 25,000 Wikio blogs for each country

The proportion also varies in relation to a blog's position in the ranking. Remember that the Wikio rankings are based on the number of backlinks that each blog receives. We can thus suppose that the blogs at the top are more "active" members of the blogosphere and social networks than those found further down in the rankings. It is thus unsurprising, as we see in the graph below, that the blogs in the top 1000 are much more likely to be on Twitter than the others found in the top 25,000. Take for example the United States, where over half (57%) of blogs in Wikio's top 1000 have an associated Twitter account compared to 32% for the top 25,000.

Proportion of blogs with an associated Twitter account in the Top 1000 Wikio blogs for each country

The difference relative to the European nations is reduced as we see a proportion of 52% for Spain, not far off the 57% seen amongst the US' top 1000 blogs. As for France, they drop into last place with only 26%. These differences can undoubtedly be explained by the sociological composition of the blogospheres of these countries, or at least how Wikio is seen in said nations. We know for example that the bloggers covering leisure pursuits such as knitting and craft work make up a high proportion of the blogs in the French Top 1000, which might imply a collection of bloggers less implicated (or interested) in the Twitter phenomenon than those for example of the High-Tech blogging world.

In total, these figures show a somewhat moderate level of Twitter penetration in the blogosphere particularly in European countries, including the UK, where bloggers do not appear to behave in the same way as their American counterparts: the UK has half as many blogs associated with a Twitter account (compare the UK's 16% with the US' 32% across the top 25,000 blogs in each nation). For all countries, the pairing rate seems to be greater for the blogs that already have a significant, existing social network (assuming the presence of many backlinks indicates such a network) and in the Tech domains. It will be interesting to observe how the situation evolves as and when we see a slowing in Twitter's progress, in particular across the Atlantic.

Lexique: La culotte de casimir

Si ce titre évoque pour vous un gros dinosaure orange à pois rouges et jaunes, cela révèle cruellement votre âge... ou celui de vos enfants ! Et cela trahit aussi doublement votre manque d'attention : pas plus que son cousin Hippolyte, il n'a à ma connaissance jamais porté culotte ou pantalon, et vous n'avez apparemment pas remarqué non plus que mon titre facétieux ne portait pas de capitale sur le mot casimir, qui n'a ainsi rien à voir avec le prénom homonyme... Quoique.

Le personnage de Casimir

Je suis tombé à deux reprises ces derniers jours sur cette expression qui m'était sortie de l'esprit, à la fois chez Dumas et chez Balzac, auteurs magnifiques mais que je n'avais pas relus depuis quelques lustres. N'ayant plus l'impatience de mes quinze ans, j'ai tendu la main vers mes étagères pleins de dictionnaires : j'y apprends que le casimir désignait une étoffe de laine légère fort à la mode à la fin du XVIIIe siècle et au début du XIXe, et qu'appréciait sans doute particulièrement Napoléon Ier, puisqu'on le voit dans la plupart des portraits poser en culotte et gilet de casimir blancs, la main droite bien entendu glissée dans ledit gilet au niveau de l'estomac. C'est d'ailleurs dans cette tenue, surmontée de la veste verte à parements rouges des chasseurs de la Garde, que l'Empereur repose pour l'éternité dans son tombeau des Invalides.

Napoleon Ier par Jacques-Louis David

Pourquoi casimir ? Se peut-il que le prénom ait été victime d'antonomase, et soit devenu nom commun, perdant ainsi sa majuscule au passage ? Après tout, c'est bien arrivé au contrôleur général des finances Etienne de Silhouette et au préfet Eugène Poubelle... Casimir est un prénom slave, porté notamment par les rois de Pologne, qui contient l'élément "mir", comme de nombreux autres prénoms de même origine : Dragomir,  Jaromir, Miroslav, Vladimir, etc. De façon plus inattendue, ce "mir" est aussi celui de la station spatiale : le mot signifie "paix" en russe, et bien que plusieurs variantes circulent, Casimir signifie sans doute "celui qui prêche la paix". Reste à savoir quel Casimir aurait pu donner son nom à notre étoffe. Les sources sont muettes...

 La station Mir

Casimir semble bien plutôt être la déformation du mot anglais cashmere, qui désigne comme chacun sait un type de laine de chèvre soyeuse provenant de la province du même nom (Cachemire en français), que se disputent de nos jours l'Inde et le Pakistan. Le mot a été sans doute contaminé par le prénom Casimir qui était lui aussi à la mode en France à la même époque, comme l'attestent le poète Casimir Delavigne, auteur des Vêpres siciliennes, Casimir Périer, président du Conseil sous Louis-Philippe, et quelques autres. La sympathie de l'opinion française pour la Pologne qui avait perdu son indépendance en 1772 et avait fait preuve de quelques beaux élans révolutionnaires avant d'être écartelée entre la Russie, la Prusse et l'Autriche, est probablement à l'origine de cette multiplication des Casimir, avec ou sans majuscule !

Twitter: Blogs et retweets, projet Twittio

Ca a filtré en réponse à un commentaire de See Mee sur mon dernier billet : oui, je suis en train de travailler à l'intégration de Twitter dans Wikio (je vous invite par ailleurs à aller lire l'interview qu'elle a eu la gentillesse de me demander récemment). Je vous ai promis la transparence la plus totale sur les activités du Wikio Labs, donc voici quelques détails sur ce projet dont le nom de code interne est Twittio ( = Twitter + Wikio). Et comme toujours, je suis à l'écoute attentive de vos réactions !

Cela fait plusieurs semaines que j'étudie l'écosystème que forment Twitter et les blogs. C'est devenu une évidence, les backlinks fondent comme neige au soleil... Comme je le dis à See Mee dans l'interview mentionnée plus haut, il faut reconnaître que les backlinks sont un mécanisme fastidieux. Il faut copier-coller une URL dans une interface plus ou moins ergonomique : il faut probablement jongler entre deux fenêtres, on se trompe facilement (qui n'a jamais fait un mauvais lien par inadvertance ?), c'est lent... et surtout il faut déjà soi-même avoir écrit un billet ! Twitter a apporté à cette lourdeur une réponse nouvelle (et inattendue je pense, comme beaucoup d'innovations, ce qui devrait nous rendre modestes...). Un clic et je "retweete" ce que j'ai lu. C'est simple, c'est rapide, c'est instantané. C'est du "temps réel". L'expression est devenue le nouveau buzzword à la mode, mais c'est vrai (vous avez remarqué qu'on ne parle plus de Web 3.0 ?). Si on me demandait (en fait on me l'a demandé récemment), quelle est la différence entre le Web 2.0 et le Web "temps réel", je dirais que l'aspect le plus flagrant c'est justement le passage d'un système de recommandation basé sur les backlinks à un système de recommandation basé sur les réseaux sociaux. Ce qui n'est pas sans poser de problème aux moteurs de recherche, dont toute la logique (le fameux Page Rank en particulier) depuis qu'ils existent est basée sur la topologie des "liens en dur". Ce n'est pas pour rien si Google et Microsoft ont passé des accords avec Twitter...

J'ai deux objectifs avec le projet Twittio. Je me doute que beaucoup d'entre vous ont le fameux classement en tête, et se demandent s'il va falloir qu'ils retweetent maintenant comme des bêtes après avoir linké comme des forcenés. Oui, l'intégration des retweets dans le calcul du classement est bien sûr une des pistes que je poursuis. Elle n'est pas simple. L'univers du retweetage est certainement aussi rempli de chausse-trapes que celui des backlinks... La première étape est donc l'observation de l'écosystème : mettre en place des outils, extraire des statistiques, comprendre les usages et la topologie du réseau. Voilà ce que je suis en train de faire.

Mais il y a une deuxième cible, plus importante pour moi dans un premier temps. Remplacer le service Blogs qui apparaît en home de Wikio et sur la page dédiée par un système plus performant. Le système actuel date de bien avant ma collaboration avec Wikio. En 2006-2007, il était raisonnable de baser un "memetracker" de ce type sur les seuls rétroliens entre billets. Etant donné l'évolution des usages, ce n'est plus possible en 2010. Ce service devrait être une fenêtre de l'actualité à travers les blogs. Twitter est certainement un élément important pour sa mise au point.

Encore faut-il comprendre comme Twitter est utilisé. Comme c'était le cas il y a quelques années pour les backlinks, le "retweetage" est très fortement "geek". On sait que pour les backlinks, les comportements ont changé. Les blogs techno s'en sont détournés (au profit de twitter en particulier), tandis que les blogs de loisirs se les sont appropriés au point de faire pâlir de honte les meilleurs experts SEO (vous vous souvenez de la "révolution des tricoteuses").

Je vous livre quelques résultats qui permettent de comprendre un peu mieux l'usage de Twitter dans les différentes communautés (du moins en France - il est probable comme j'y faisais allusion hier que les usages différent selon les pays, en particulier par rapport aux Etats-Unis.

J'ai suivi le taux de retweets de tous les billets du top 10000 FR depuis trois semaines. Cela fait une base de 107718 billets et 72334 retweets, soit un taux moyen de 0,67 RT par billet.

Mais cette moyenne cache de très grandes disparités entre communautés, comme le fait apparaître le tableau suivant (la première colonne correspond à la catégorie du classement Wikio, la deuxième au nombre moyen de retweets par billet dans cette catégorie) :

Categorie	m
SEO	9,83
Marketing	4,25
High-Tech	3,85
Science	3,74
Logiciels Libres	3,59
Emploi	2,27
Entrepreneurs	1,72
Environnement	1,39
Jeux Vidéo	1,37
Musique	1,28
Cinéma	1,15
BD	1,06
Politique	0,86
Auto	0,85
Droit	0,48
Economie	0,45
Sport	0,38
Divers	0,36
Jeux d’argent	0,25
Loisirs	0,23
Chine	0,21
Gastronomie	0,16
Santé	0,16
Littérature	0,14
Animaux	0,05
Scrapbooking	0,01

On constate la très grande disproportion, d'un facteur 1000 entre les champions du RT (les blogs SEO) et les blogs scrapbooking qui figurent au bas de la liste. Les blogs politiques se situent à peine un peu au-dessus de la moyenne.

Il est intéressant de constater que les blogs SEO et Marketing ont été les premiers à comprendre l'intérêt du retweetage, qu'ils pratiquent encore plus que les blogs techno.

La conclusion à laquelle m'amènent ces résultats, c'est que bien entendu, on ne peut intégrer Twitter directement, ni dans le classement (où les blogs SEO, marketing et High-tech viendraient truster toutes les premières places), ni dans le nouveau service Blogs, dont la page d'accueil serait phacogytée de la même manière.

Vous imaginez donc la difficulté de la tâche. Mais vous doutez aussi sans doute que j'ai quelques pistes ;-)

Ontologies: Perl is a planet in the solar system

Lately, I've been working on Wikipedia, both an unprecedented human adventure (I wouldn't have bet two cents on its survival a few years ago) and a reservoir of fantastic resources for natural language processing. In particular, it is a huge ontology, i.e. a structured knowledge tree, people have dreamed of building for centuries . I alluded to this in my last slide here [fr]: since the Sumerians via Raymond Lulle, Leibnitz and the Encyclopaedists we have been searching — and the semantic Web is the latest invention that aims to organize Everything.

Wikipedia's knowledge tree is navigable online:

• English version
• French version

These are interesting URLs to know (I'm thinking of secondary school teachers: what a great source for practical work!).

Maybe you know the Perl programming language — I'm a big fan, but let's leave that to another post. I used the corresponding page in Wikipedia as a test to determine if I could correctly find its place in the Wikipedian knowledge tree using my little homemade programmes.

Let's follow the category links going up through the tree. The links are at the bottom of the page: the Perl page belongs to all these categories:

Categories: Perl | Curly bracket programming languages | Dynamic programming languages | Dynamically-typed programming languages | Free compilers and interpreters | Free software programmed in C | Procedural programming languages | Object-oriented programming languages | Scripting languages | Text-oriented programming languages | Unix programming tools | Cross-platform software | American inventions

Ah... so apparently it's not a tree. Or maybe one of those Indian banyans I frequently refer to, whose branches connect and merge... Anyway, as long as there is no loop (I don't wish to be pedantic, but if there is a Directed Acyclic Graph), it is possible to build an ontology. It's common enough:

But it nevertheless requires some care in building the links, and you quickly get lost.

So let's follow the links on our Perl page. It's an American invention. Ok. Back up. To be brief, here is the path I followed at random among all the possibilities:

• Perl
• American inventions
• Inventions by country
• Categories by country
• Countries
• Earth
• Planets of the Solar System

Perl is a therefore a planet in the solar system. QED.

Don't think that this is an isolated example. It is by far the rule, given the immense complexity of the graph. What a shame... That means that there is a huge amount of work to be done to be able to exploit Wikipedia. At least using automatic means, it is difficult. The whole effort (unprecedented in the history of Humanity, I repeat), should be praised, but to be able to properly exploit the knowledge in it, a little structure will be required...

Etude: Twitter et la blogosphère

Tout le monde a remarqué que parmi ses multiples usages, Twitter sert à faire la promotion des billets qui paraissent sur les blogs, remplissant ainsi en partie la fonction de recommandation qui était dévolue auparavant aux rétroliens. Nul ne connaît cependant jusqu'ici le taux de pénétration de Twitter dans la blogosphère. En d'autres termes, combien de blogueurs ont-ils un compte Twitter ? Cette proportion dépend-elle des pays ?

Au cours des dernières semaines, j'ai mené une étude visant à apporter quelques éléments de réponse à ces questions. J'ai donc sélectionné les 25000 premiers blogs du classement des six sites Wikio anglais (UK), anglais (US), allemand, espagnol, français et italien, soit 150000 blogs au total. Tous ces blogs sont des blogs actifs, c'est-à-dire ayant publié au cours des deux derniers mois.

Les blogs et les comptes Twitter ont été rapprochés par divers algorithmes, en tenant compte du fait que certains blogs peuvent avoir plusieurs comptes Twitter associés (notamment dans le cas d'auteurs multiples), qu'inversement un même blog peut être associé à différents comptes Twitter. Une limite méthodologique a été posée à l'exercice : je n'ai cherché que les associations qui étaient explicitement listées par la mention du blog sur la page de l'utilisateur Twitter ou par la mention du compte Twitter sur la page d'accueil du blog (ou les deux). Il est donc certain que quelques blogueurs ayant un compte Twitter listé nulle part ont échappé au rapprochement.

De plus, diverses variantes peuvent intervenir dans la formulation des URL pour un même blog, et bien que des heuristiques variées aient été mises en place pour rapprocher le plus possible ces formulations, il est certain là aussi que des rapprochements ont été ignorés. Un contrôle manuel par sondage a donc été effectué pour chacune des langues, qui montre que les rapprochements oubliés sont probablement de l'ordre de 1%. Les chiffres qui résultent de l'étude semblent donc raisonnablement fiables.

La proportion de blogs ayant un compte Twitter associé varie de façon importante selon les pays. Sans grande surprise, on constate que les Etats-Unis se distinguent par une proportion beaucoup plus élevée que les autres pays (32,1% contre 20,7% pour le premier des pays européens, l'Espagne). La France arrive en avant-dernière position avec 13,5% d'associations.

Proportion de blogs ayant un compte Twitter associé dans le top 25000 Wikio pour chaque pays

La proportion varie également en fonction de la position dans le classement. Rappelons que les classements Wikio sont établis sur la base du nombre de rétroliens que reçoit chaque blog. On peut donc supposer que les blogs du sommet du classement sont plus "actifs" dans la blogophère et les réseaux sociaux en général que les blogs positionnés plus loin dans le classement. Il est alors logique, comme on le constate sur le diagramme ci-dessous, que les blogs des top 1000 soient plus fortement liés à Twitter que les blogs du top 25000. On constate par exemple que ce sont plus de la moitié (57%) des blogs US qui sont associés à un compte Twitter, contre 32% pour le top 25000.

 Proportion de blogs ayant un compte Twitter associé dans le top 1000 Wikio pour chaque pays

La différence avec les pays européens s'atténue toutefois, puisque l'Espagne est à 52%, donc assez près des Etats-Unis. La France est en dernière position derrière l'Italie avec seulement 26% d'associations. Ces différences s'expliquent sans doute par la composition sociologique des blogosphères des différents pays, ou du moins, de l'image qu'en a Wikio à travers les différents classements. On sait par exemple que les blogs de loisirs dit "féminins" (tricot, créations, etc.) sont très nombreux dans le top 1000 du classement français, ce qui peut représenter un public moins touché par le phénomène Twitter que d'autres communautés (par exemple High-Tech).

Au total, ces chiffres montrent donc une pénétration assez modérée de Twitter dans la blogosphère, en particulier dans les pays européens, y compris le Royaume-Uni qui se comporte de façon très différente des Etats-Unis, avec moitié moins de blogs associés à un compte Twitter (16% contre 32% sur les top 25000). Tous pays confondus, l'association blog-Twitter semble surtout forte pour les blogs ayant déjà un réseau social important (du moins tel qu'il est reflété par les rétroliens) et dans les domaines plus technologiques. Il sera intéressant d'observer comment la situation évoluera, au moment où l'on observe un net ralentissement de la progression de Twitter, en particulier outre-Atlantique.