Jean Véronis
Aix-en-Provence
(France)


Se connecter à moi sur LinkedIn Me suivre sur Twitter Facebook RSS

mercredi, juillet 06, 2005

Texte: Correcteurs orthographiques en panne?

Jonath a trouvé la bonne réponse à la devinette d'hier. J'ai créé Orthobug, le programme qui pourrit les textes, pour tester les performances de correcteurs orthographiques. En fait, c'est un des exercices qu'on donne en Licence première année à nos étudiants en Technologies du Langage. Partant d'un texte propre (article de journal par exemple), il s'agit de le truffer de fautes avant de le soumettre à un ou plusieurs correcteurs orthographiques, pour pouvoir en évaluer les performances.

texte déformé
On pourrait bien sûr utiliser de vrais textes avec de vraies fautes, mais c'est plus facile d'avoir un concentré sur une page ou deux. De plus, le programme permet (pas dans la version que j'ai mise sur le web), de contrôler les types de fautes ajoutées et leur proportion:
  • fautes de frappe
    • omission de lettre (devoir -> deoir)
    • insertion de lettre (devoir -> devboir)
    • substitution (devoir -> deboir)
    • interversion (devoir -> devior)
  • fautes de compétence
    • substitution de graphème (pharmacie -> farmacie)
    • mots homophones (sont -> son)
    • accords et finales muettes (les fautes -> les faute)
    • finales homophones (déclaré -> déclarer)
    • etc.
A titre d'exemple, je me suis amusé ce matin avec un article du Monde, que j'ai soumis au correcteur orthographique de Microsoft Word et à la nouvelle barre d'outil de Google (dont j'ai parlé il y a quelque temps ; la version Firefox est annoncée pour demain 7 juillet). J'ai ignoré les noms propres, et j'ai comptabilisé les résultats de façon classique (le détail est en pdf) :
  • erreurs signalée à juste titre par le correcteur
  • erreurs non signalés
  • erreurs signalées à tort (en fait il n'y a pas d'erreur)
On appelle les erreurs non signalées le silence, et celles signalées à tort le bruit (ou encore fausses alertes). Si on veut qu'un système soit excellent, il faut qu'il minimise le silence (c'est-à-dire qu'il ne loupe pas d'erreurs, mais aussi le bruit (si le logiciel donne trop de fausses alertes, il devient inutilisable...). Voici ce que j'obtiens:

[note: petits correctifs le 18 octobre]

%MsWordGoogle
silence25,324,0
bruit6,7
1,7

On parle aussi souvent de précision et de rappel, qui sont simplement des notions complémentaires du silence et du bruit (tous ces termes sont issus de la recherche documentaire, où on mesure la qualité des résultats à une requête):

précision = 1 - bruit = erreurs signalées à juste titre / nb d'erreurs signalées en tout
rappel = 1 - silence = erreurs signalées à juste titre / nb total d'erreurs


Voici ce que ça donne :

%MsWordGoogle
rappel74,776,0
précision93,398,3

Cette petite expérience du matin n'a évidemment pas de valeur scientifique -- il faudrait faire ça sur plus de textes, et des textes plus variés-- mais il est frappant de constater que MSWord et la barre Google ont à peu près exactement les mêmes performances. Tous deux arrivent dans les 80% de rappel c'est-à-dire qu'ils loupent un cinquième des erreurs que j'ai injectées. L'examen détaillé des résultats montre que la quasi totalité des erreurs non détectées est du même type: le mot erroné existe bien dans le dictionnaire de la machine, mais il n'est pas le bon en contexte (ont -> on, président -> préside, etc.).

On pourrait penser que MSWord s'en sort mieux, puisqu'il est doté de fonctions de correction grammaticale, qui devraient normalement aider, mais on s'aperçoit que ça ne change pas grand-chose, ce qui est tout à fait étonnant. Google s'en sort aussi bien. Ou aussi mal, car les erreurs en question (homophones, accords, etc.) sont extrêmement fréquentes chez les élèves et étudiants -- et pas mal d'adultes. Évidemment c'est très difficile, mais on peut imaginer des tas de méthodes qui pourraient améliorer les choses. Les simples fréquences de bigrammes (mots qui se suivent) dans de grandes masses de texte pourraient par exemple dans bien des cas servir à signaler un problème. Pour l'erreur non détectée "on tenu", par exemple, une petite recherche Yahoo m'indique:

BigrammeYahoo (fr)
"on tenu"893
"ont tenu"159000

Les correcteurs orthographiques ont beaucoup progressé dans les années 90 (grâce à un accroissement considérable des dictionnaires), mais il me semble que depuis ils plafonnent. La recherche sur le sujet n'est plus très à la mode dans les conférences en traitement automatique des langues, et on dirait que les industriels (Microsoft et autres) s'en désintéressent, comme si ce n'était plus pertinent commercialement.

Pourtant, vu le niveau orthographique de la population générale (il suffit de parcourir forums et blogs), il me semble qu'il y aurait au contraire un argument marketing considérable pour un correcteur plus futé, qui prenne en compte les vrai faute que font les geans, et en particulier les collégiens et lycéens de plus en plus nombreux à les utiliser. Les correcteurs dans leur état actuel sont presque nocifs pour eux, car en ne soulignant pas de vraies erreurs, ils peuvent inciter les jeunes à penser que c'est correct... Une de mes étudiantes de master, Marie Piu, vient de faire un très joli travail sur MSWord avec 335 vraies dictées d'élèves de 6ème et 5ème de la région. Le résultat est effarant: ce sont seulement 62% des erreurs qui sont détectées, et lorsque l'erreur est détectée, la première proposition faite par MSWord est la bonne dans seulement 74% des cas. Dans 16% des cas, aucune des propositions n'est valable...

Il reste encore du boulot!

24 Commentaires:

Anonymous Anonyme a écrit...

les vrai faute que font les geans ????

06 juillet, 2005 11:50  
Blogger Jean Véronis a écrit...

j'aurais dû mettre un ;-) !

06 juillet, 2005 11:52  
Anonymous Cédric Luthi a écrit...

J'aime bien le "a peu près exactement", mais j'aurais plutôt utilisé "quasiment" je pense ;-)

06 juillet, 2005 12:37  
Blogger GerFaut a écrit...

Je viens de découvrir (grâce à MacDigit : http://www.macdigit.com/ ) votre blog que je trouve passionnant.
Je ne sais pas quelle est la fiabilité des correcteurs orthographiques pour l'anglais, mais, en tout état de cause, il est évident que le problème commercial prédomine dans cette histoire. Il est certain que le français, très complexe, n'est pas assez rentable pour ces entreprises, d'où des logiciels mal terminés et incomplets. On en a un exemple encore plus frappant avec les systèmes de vocalisation de texte qui n'ont jamais été finalisés pour le français malgré quelques vagues tentatives.
Oui, il reste encore du boulot...

06 juillet, 2005 12:37  
Anonymous Anonyme a écrit...

Et avez vous testé des outils comme Prolexis en regard des correcteurs intégrés ?
Quelle est sa pertinence ?

06 juillet, 2005 13:12  
Blogger Jean Véronis a écrit...

Prolexis> Non, pas encore (bonne idée pour les projets de master de l'an prochain!), mais je doute qu'il y ait une différence fondamentale car elle demanderait un saut technologique majeur...

06 juillet, 2005 13:37  
Anonymous LolZ a écrit...

Le logiciel Orthobug est-il disponible? Le principe est très intéressant!

06 juillet, 2005 20:33  
Blogger Jean Véronis a écrit...

Le logiciel Orthobug est-il disponible (lolz)> hélas non, pas pour l'instant...

06 juillet, 2005 20:37  
Anonymous setim a écrit...

Le logiciel quebecois " Antidote" me semble bien plus performant que Word en la matière.

06 juillet, 2005 22:58  
Anonymous PatB a écrit...

Merci pour votre blog, c'est un véritable plaisir à lire … 

La démo fonctionnelle du Petit Pro Lexis Mac ou Pc est par là : http://www.prolexis.com/
Il faut savoir que l'on peut aussi régler dans les préférences les règles typographiques françaises.

Antidote le "Québecquois" : http://www.druide.com/

Les tarifs respectifs (PPL 100€ vs Antidote 125€)

Je serais curieux de lire un test (ou autre, des impressions) pouvant indiquer les limites respectives de ces deux aides à l'écriture du et en français.

J'ai, de plus, un faible pour le dictionnaire des synonymes de Myriade (de Diagonal). Il comporte aussi un conjugueur (intégré à PPL2) utile lorsque l'on a une hésitation.

07 juillet, 2005 09:18  
Blogger Serge Bibauw a écrit...

Un monsieur qui est correcteur professionnel me faisait justement remarquer hier que l'on ne devrait pas parler de « correcteurs » pour les logiciels, mais bien de « vérificateurs » : dans la mesure où le bruit (et dans une moindre mesure, le silence) n'est pas égal à zéro, ces logiciels ne pourront jamais servir qu'à signaler à l'utilisateur humain d'éventuelles erreurs (vérifier le texte), et non à corriger par eux-mêmes des textes sans intervention humaine.

07 juillet, 2005 22:31  
Anonymous Anonyme a écrit...

Très intéressant.
Auriez-vous la possibilité de tester le correcteur d'OpenOffice. A priori, il me semble assez en dessous de celui de MsWord, mais ce n'est qu'une impression.
En tous cas, merci pour votre blog.

michel

08 juillet, 2005 11:06  
Anonymous Thierry Fontenelle a écrit...

Bonjour Jean,

Tout d’abord, un tout grand merci pour ce blog, tout aussi intéressant et passionnant que les précédents. Il a retenu toute mon attention parce qu’il traite justement de problèmes sur lesquels je viens de travailler ces derniers mois. En novembre dernier, nous (je parle ici de Microsoft, puisque c’est pour cette société que je travaille) avons sorti une nouvelle version de notre correcteur grammatical pour MS Word. En avril 2005, nous avons également mis gratuitement à la disposition des utilisateurs d’Office 2003 une version complètement remaniée du correcteur orthographique (voir ici pour savoir comment télécharger ce nouvel outil). Puis-je demander si ce sont ces deux nouvelles versions qui ont été utilisées dans le cadre de l’expérience menée sur cet article du Monde ? Je pense que ce n’est pas le cas car un test rapide vient de me montrer que certaines des fautes introduites intentionnellement dans cet article sont repérées et corrigées par le nouveau correcteur grammatical (notamment « a Singapour » --> « à Singapour », ou encore « a-t-il déclarer » --> a-t-il déclaré). J’ai aussi été surpris de voir que certaines chaînes de mots en majuscules étaient considérées comme des fautes (6,75 MILLIARDS D’EUROS…). Je ne suis pas parvenu à reproduire ce comportement avec le nouveau correcteur.

Je voulais préciser ici que nous ne nous désintéressons pas du tout de la recherche relative aux outils de correction linguistique, loin de là. J’en ai d’ailleurs parlé à Lorient l’an dernier lors du congrès de l’Association européenne de lexicographie, Euralex). Les deux produits que nous venons d’offrir gratuitement à nos utilisateurs francophones sont le fruit d’investissements importants et nous continuons à investir dans ce domaine pour améliorer ces outils et couvrir un plus grand nombre de langues. Nous sommes parfaitement conscients qu’ils ne sont pas infaillibles, mais je puis vous assurer que les nouvelles versions sorties ces derniers mois ont bénéficié d’améliorations plus que substantielles. Nous avons augmenté de plus de 10% le nombre de cas où la première proposition est la bonne, par exemple (par rapport au correcteur précédent). Nous avons aussi réduit de 74% le nombre de fausses alertes (le descriptif consultable ici donne de plus amples informations). La prise en compte de la féminisation des noms de métiers (j’en ai parlé brièvement ailleurs sur ce site il y a quelques semaines) et de l’orthographe recommandée par le Conseil Supérieur de la Langue Française et l’Académie Française est le résultat de notre souci de faire évoluer nos outils en même temps que la langue française et de répondre aux besoins de nos utilisateurs, tant en France qu’au Québec, en Belgique, en Suisse, en Algérie, au Maroc ou ailleurs.

Tous ces nouveaux outils sont également basés sur des analyses d’erreurs réelles (ce qui nous a justement permis d’améliorer la qualité des propositions de corrections). Dans l’expérience que tu décris, il est exact que ni le correcteur orthographique ni le correcteur grammatical ne sont en mesure (actuellement) de repérer la faute dans « les cinq vies candidates pour les JO 2012 ». Une rapide recherche sur le web (tant sur Google que sur MSN) montre que la chaîne « vies candidates » n’est pas présente sur le web (à part sur ce site ;-), ce qui démontre sans doute l’aspect artificiel de cette erreur de nature plus sémantique que grammaticale. Mais nous travaillons sur la question… (je ne peux en dire plus pour le moment ;-)

Il est un autre aspect sur lequel je souhaitais faire un commentaire. Les noms propres ont été intentionnellement ignorés dans l’évaluation. Je pense néanmoins qu’ils devraient être pris en compte lors du calcul de la précision et du rappel, qui utilisent la notion de bruit. Si on en tient compte, on s’aperçoit alors que la précision du correcteur de MS Word dépasse celle de la Toolbar de Google. Un exemple : là où Google montre que son lexique d’entités géographiques et de noms de personnes est très pauvre (Londres, Madrid, New York, Moscou, Singapour et Chirac… sont considérés comme des fautes au même titre que Londre et Chriac, le correcteur de MS Word ne soulignera que Londre et Chriac (à juste titre) et n’attirera pas inutilement l’attention de l’utilisateur sur des fautes qui n’en sont pas, tout en proposant les bonnes versions de ces noms propres en cas d’erreur). J’ai la faiblesse de croire que cet aspect est également important pour nos utilisateurs (de ce côté, je dois avouer que nos synergies avec nos collègues d’Encarta nous ont permis de bénéficier de leurs bases de données de termes géographiques et de personnages célèbres pour enrichir notre dictionnaire et ainsi réduire le bruit).

En guise de cerise sur le gâteau, je ne résiste pas à la tentation de donner quelques exemples de tournures fautives maintenues repérées par la nouvelle version du correcteur grammatical :

Si j’aurais su, je l’aurais fait.
Je m’ai trompé.
Je l’ai fait fonctionné.
Je les ai vu. (La correction propose ici « vus » ou « vues » puisque le contexte ne permet pas de lever l’ambiguïté)
Elle s’est cassée la jambe.
J’ai télécharger les mises à jour.
J’ai téléchargé les mises à jours.
Le gouvernement ne parle qu’en terme de budget et d’économies.

La concordance des temps, le choix de l’auxiliaire, l’accord du participe passé ou le choix du participe passé ou de l’infinitif comptent parmi les difficultés les plus répandues sur lesquelles ont porté les améliorations de ce correcteur.

Merci de m’avoir lu jusqu’ici, en espérant avoir pu contribuer à la discussion. Il reste effectivement beaucoup à faire, mais nous y travaillons. Merci aussi de nous faire part de tous ces commentaires très constructifs!

Thierry Fontenelle (Microsoft Speech & Natural Language Group)

16 juillet, 2005 19:31  
Anonymous tao a écrit...

en parlant de correcteurs (ou verificateurs) orthographiques et de grammaire à noter l'EXCELLENT produit de DRUIDE INFORMATIQUE (Québécois) : ANTIDOTE.

20 juillet, 2005 01:04  
Anonymous Anonyme a écrit...

je vous propose de tester Cordial de Synapse (http://www.synapse-fr.com/)
je n'ai pas d'actions dans cette maison, mais je peux vous dire que le correcteur est d'une autre trempe que celui de Word.

08 septembre, 2005 14:58  
Anonymous leonid a écrit...

Word n'aime pas la "dernière" dictée de Pivot. Moi qui aime tant les floes polaires...

Il n'est pas étonnant de voir que l'industrie n'a pas pour objectif d'instruire ou d'aider les jeunes à réflechir et corriger leurs erreurs, puisque ces derniers finiraient par se demander s'il est utile d'acheter tel ou tel gadget. Catastrophe. Mieux vaut privilégier la bêtise et maintenir ces futurs chomeurs en état de consommateurs végétatifs. Ou alors suis-je encore un de ces jeunes pessimistes adeptes du complot des mass medias...

-Hors sujet-
Puisque je parle de gadgets, M'sieur Fontenelle du commentaire plus haut: MS Speech Natural Truc s'occupe également du TTS ? Si c'est le cas, faudrait activer un peu; avec les nouvelles cartes sons, vousse afez le moyen te faire barler nos ordis autrement que pour faire plaisir à Thom Yorke. Reste à trouver l'utilité, si ce n'est l'accessibilité des mal voyants, encore leur faudrait-il trouver le menu démarrer pour lancer le programme désiré. Je suis un monstre.
-Fin du hors sujet-

03 décembre, 2005 04:18  
Anonymous Bianca Chareyre a écrit...

Génial, tout simplement génial!
Je suis orthophoniste et je recherchais, paradoxalement, comment servir des textes à fautes à mes patients .Et vous voilà, avec des fautes tellement semblables.
Merci pour cet outil !

14 avril, 2006 18:49  
Anonymous Anonyme a écrit...

Bonjour, je cherchais quelque chose, et du coup, ne me souviens plus, tellement ce site m'a sidérée. Mais on ne pourrait pas faire l'inverse ? Dépourrir les textes ?

19 août, 2006 18:10  
Anonymous Anonyme a écrit...

Je pense que tu n'as pas bien du lire le contenu du blog. Ce brave homme a développé un pourrisseur de texte afin de tester la réactivité et la justesse de correcteurs orthographiques (des dépourisseurs...)

06 septembre, 2006 17:29  
Blogger Jean Véronis a écrit...

Oops, pardon, je me sis noyé dans les commentaires et je vois que je n'avais jmais répondu. Dépourir les textes, ça revient à réaliser un correcteur orthographique, non? C'est infiniment plus compliqué. Imaginons un mot bien écrit avec des lettres de scrabble. Il suffit d'envoyer le tout en l'air et on est à peu près sur d'avoir un mot mal écrit. Mais si on a des lettres en vrac, c'est plus dur de trouver le mot initial... Et évidemment, plus le pourrissement est fort, plus le retour à la source est difficile. Les correcteurs orthographiques actuels (Word etc.) ont un comportement très insuffisant sur les textes d'élèves de primaire par exemple.

06 septembre, 2006 17:36  
Anonymous Abulfar a écrit...

Bonsoir,

Juste en passant : 6e et non 6ème.

07 octobre, 2006 00:15  
Anonymous Anonyme a écrit...

Moi j'aime bien l'idée du dépourisseur...

30 novembre, 2006 14:24  
Anonymous Thai Chat a écrit...

L'idée du correcteur en gros ;-p

25 mai, 2007 09:13  
Anonymous Caroline Sigouin a écrit...

Concernant les Québécois:

Le correcteur Antidote est effectivement bien meilleur que ceux qui viennent avec les logiciels de traitement de texte. Il est aussi beaucoup plus nuancé: il signale des risques d'erreur, fait des suggestions de correction, intervient au niveau orthographique, grammaticale, syntaxique, il prend en considération le registre de langue, la variété de français, et corrige même la ponctuation! Je me demande alors comment il serait possible de calculer son efficacité (taux de bruit, de silence, etc.)

Quant au Pourrisseur, il a tout qu'un accent français! He he he! En français québécois, on ne confond pas "considéré" et "considérait", par exemple. Ce ne sont pas des homophones chez-nous, où le "é" et le "è" sont deux sons bien distincts. On pourrait assurément trouver des exemples de ce genre pour bien d'autres variétés de français.

24 janvier, 2009 01:42  

Enregistrer un commentaire