Texte: Correcteurs orthographiques en panne?

Jonath a trouvé la bonne réponse à la devinette d'hier. J'ai créé Orthobug, le programme qui pourrit les textes, pour tester les performances de correcteurs orthographiques. En fait, c'est un des exercices qu'on donne en Licence première année à nos étudiants en Technologies du Langage. Partant d'un texte propre (article de journal par exemple), il s'agit de le truffer de fautes avant de le soumettre à un ou plusieurs correcteurs orthographiques, pour pouvoir en évaluer les performances.

On pourrait bien sûr utiliser de vrais textes avec de vraies fautes, mais c'est plus facile d'avoir un concentré sur une page ou deux. De plus, le programme permet (pas dans la version que j'ai mise sur le web), de contrôler les types de fautes ajoutées et leur proportion:

• fautes de frappe
  
  • omission de lettre (devoir -> deoir)
  • insertion de lettre (devoir -> devboir)
  • substitution (devoir -> deboir)
  • interversion (devoir -> devior)

• fautes de compétence
  
  • substitution de graphème (pharmacie -> farmacie)
  • mots homophones (sont -> son)
  • accords et finales muettes (les fautes -> les faute)
  • finales homophones (déclaré -> déclarer)
  • etc.

A titre d'exemple, je me suis amusé ce matin avec un article du Monde, que j'ai soumis au correcteur orthographique de Microsoft Word et à la nouvelle barre d'outil de Google (dont j'ai parlé il y a quelque temps ; la version Firefox est annoncée pour demain 7 juillet). J'ai ignoré les noms propres, et j'ai comptabilisé les résultats de façon classique (le détail est là en pdf) :

• erreurs signalée à juste titre par le correcteur
• erreurs non signalés
• erreurs signalées à tort (en fait il n'y a pas d'erreur)

On appelle les erreurs non signalées le silence, et celles signalées à tort le bruit (ou encore fausses alertes). Si on veut qu'un système soit excellent, il faut qu'il minimise le silence (c'est-à-dire qu'il ne loupe pas d'erreurs, mais aussi le bruit (si le logiciel donne trop de fausses alertes, il devient inutilisable...). Voici ce que j'obtiens:

[note: petits correctifs le 18 octobre]

%	MsWord	Google
silence	25,3	24,0
bruit	6,7	1,7

On parle aussi souvent de précision et de rappel, qui sont simplement des notions complémentaires du silence et du bruit (tous ces termes sont issus de la recherche documentaire, où on mesure la qualité des résultats à une requête):

précision = 1 - bruit = erreurs signalées à juste titre / nb d'erreurs signalées en tout
rappel = 1 - silence = erreurs signalées à juste titre / nb total d'erreurs

Voici ce que ça donne :

%	MsWord	Google
rappel	74,7	76,0
précision	93,3	98,3

Cette petite expérience du matin n'a évidemment pas de valeur scientifique -- il faudrait faire ça sur plus de textes, et des textes plus variés-- mais il est frappant de constater que MSWord et la barre Google ont à peu près exactement les mêmes performances. Tous deux arrivent dans les 80% de rappel c'est-à-dire qu'ils loupent un cinquième des erreurs que j'ai injectées. L'examen détaillé des résultats montre que la quasi totalité des erreurs non détectées est du même type: le mot erroné existe bien dans le dictionnaire de la machine, mais il n'est pas le bon en contexte (ont -> on, président -> préside, etc.).

On pourrait penser que MSWord s'en sort mieux, puisqu'il est doté de fonctions de correction grammaticale, qui devraient normalement aider, mais on s'aperçoit que ça ne change pas grand-chose, ce qui est tout à fait étonnant. Google s'en sort aussi bien. Ou aussi mal, car les erreurs en question (homophones, accords, etc.) sont extrêmement fréquentes chez les élèves et étudiants -- et pas mal d'adultes. Évidemment c'est très difficile, mais on peut imaginer des tas de méthodes qui pourraient améliorer les choses. Les simples fréquences de bigrammes (mots qui se suivent) dans de grandes masses de texte pourraient par exemple dans bien des cas servir à signaler un problème. Pour l'erreur non détectée "on tenu", par exemple, une petite recherche Yahoo m'indique:

Bigramme	Yahoo (fr)
"on tenu"	893
"ont tenu"	159000

Les correcteurs orthographiques ont beaucoup progressé dans les années 90 (grâce à un accroissement considérable des dictionnaires), mais il me semble que depuis ils plafonnent. La recherche sur le sujet n'est plus très à la mode dans les conférences en traitement automatique des langues, et on dirait que les industriels (Microsoft et autres) s'en désintéressent, comme si ce n'était plus pertinent commercialement.

Pourtant, vu le niveau orthographique de la population générale (il suffit de parcourir forums et blogs), il me semble qu'il y aurait au contraire un argument marketing considérable pour un correcteur plus futé, qui prenne en compte les vrai faute que font les geans, et en particulier les collégiens et lycéens de plus en plus nombreux à les utiliser. Les correcteurs dans leur état actuel sont presque nocifs pour eux, car en ne soulignant pas de vraies erreurs, ils peuvent inciter les jeunes à penser que c'est correct... Une de mes étudiantes de master, Marie Piu, vient de faire un très joli travail sur MSWord avec 335 vraies dictées d'élèves de 6ème et 5ème de la région. Le résultat est effarant: ce sont seulement 62% des erreurs qui sont détectées, et lorsque l'erreur est détectée, la première proposition faite par MSWord est la bonne dans seulement 74% des cas. Dans 16% des cas, aucune des propositions n'est valable...

Il reste encore du boulot!