Jonath a trouvé la bonne réponse à la
devinette d'hier. J'ai créé
Orthobug, le
programme qui pourrit les textes, pour tester les
performances de correcteurs orthographiques. En fait, c'est un des exercices qu'on donne en Licence première année à nos étudiants en
Technologies du Langage. Partant d'un texte propre (article de journal par exemple), il s'agit de le truffer de fautes avant de le soumettre à un ou plusieurs correcteurs orthographiques, pour pouvoir en évaluer les performances.
On pourrait bien sûr utiliser de vrais textes avec de vraies fautes, mais c'est plus facile d'avoir un concentré sur une page ou deux. De plus, le programme permet (pas dans la version que j'ai mise sur le web), de
contrôler les types de fautes ajoutées et leur proportion:
- fautes de frappe
- omission de lettre (devoir -> deoir)
- insertion de lettre (devoir -> devboir)
- substitution (devoir -> deboir)
- interversion (devoir -> devior)
- fautes de compétence
- substitution de graphème (pharmacie -> farmacie)
- mots homophones (sont -> son)
- accords et finales muettes (les fautes -> les faute)
- finales homophones (déclaré -> déclarer)
- etc.
A titre d'exemple, je me suis amusé ce matin avec un
article du Monde, que j'ai soumis au correcteur orthographique de
Microsoft Word et à la nouvelle
barre d'outil de Google (dont j'ai parlé
il y a quelque temps ; la version Firefox est
annoncée pour demain 7 juillet). J'ai ignoré les noms propres, et j'ai comptabilisé les résultats de façon classique (le détail est
là en pdf) :
- erreurs signalée à juste titre par le correcteur
- erreurs non signalés
- erreurs signalées à tort (en fait il n'y a pas d'erreur)
On appelle les erreurs non signalées le
silence, et celles signalées à tort le
bruit (ou encore fausses alertes). Si on veut qu'un système soit excellent, il faut qu'il minimise le silence (c'est-à-dire qu'il ne loupe pas d'erreurs, mais aussi le bruit (si le logiciel donne trop de fausses alertes, il devient inutilisable...). Voici ce que j'obtiens:
[note: petits correctifs le 18 octobre]
% | MsWord | Google |
---|
silence | 25,3 | 24,0 |
bruit | 6,7
| 1,7 |
On parle aussi souvent de
précision et de
rappel, qui sont simplement des notions complémentaires du silence et du bruit (tous ces termes sont issus de la recherche documentaire, où on mesure la qualité des résultats à une requête):
précision = 1 - bruit = erreurs signalées à juste titre / nb d'erreurs signalées en tout
rappel = 1 - silence = erreurs signalées à juste titre / nb total d'erreurs
Voici ce que ça donne :
% | MsWord | Google |
---|
rappel | 74,7 | 76,0 |
précision | 93,3 | 98,3 |
Cette petite expérience du matin n'a évidemment pas de valeur scientifique -- il faudrait faire ça sur plus de textes, et des textes plus variés-- mais il est frappant de constater que
MSWord et la barre Google ont à peu près exactement
les mêmes performances. Tous deux arrivent dans les 80% de rappel c'est-à-dire qu'ils loupent un cinquième des erreurs que j'ai injectées. L'examen détaillé des résultats montre que la quasi totalité des erreurs non détectées est du même type: le mot erroné existe bien dans le dictionnaire de la machine, mais il n'est pas le bon en contexte (
ont -> on, président -> préside, etc.).
On pourrait penser que
MSWord s'en sort mieux, puisqu'il est doté de fonctions de
correction grammaticale, qui devraient normalement aider, mais on s'aperçoit que ça ne change pas grand-chose, ce qui est tout à fait étonnant. Google s'en sort aussi bien. Ou aussi mal, car les erreurs en question (homophones, accords, etc.) sont extrêmement fréquentes chez les élèves et étudiants -- et pas mal d'adultes. Évidemment c'est très difficile, mais on peut imaginer des tas de méthodes qui pourraient améliorer les choses. Les simples fréquences de
bigrammes (mots qui se suivent) dans de grandes masses de texte pourraient par exemple dans bien des cas servir à signaler un problème. Pour l'erreur non détectée "on tenu", par exemple, une petite recherche Yahoo m'indique:
Bigramme | Yahoo (fr) |
---|
"on tenu" | 893 |
"ont tenu" | 159000 |
Les correcteurs orthographiques ont beaucoup progressé dans les années 90 (grâce à un accroissement considérable des dictionnaires), mais il me semble que depuis ils plafonnent. La
recherche sur le sujet n'est plus très à la mode dans les conférences en
traitement automatique des langues, et on dirait que les industriels (
Microsoft et autres) s'en désintéressent, comme si ce n'était plus pertinent commercialement.
Pourtant, vu le niveau orthographique de la population générale (il suffit de parcourir forums et blogs), il me semble qu'il y aurait au contraire un argument marketing considérable pour un correcteur plus futé, qui prenne en compte les
vrai faute que font les geans, et en particulier les collégiens et lycéens de plus en plus nombreux à les utiliser. Les correcteurs dans leur état actuel sont presque nocifs pour eux, car en ne soulignant pas de vraies erreurs, ils peuvent inciter les jeunes à penser que c'est correct... Une de mes étudiantes de master,
Marie Piu, vient de faire un très joli travail sur
MSWord avec 335 vraies dictées d'élèves de 6ème et 5ème de la région. Le résultat est effarant: ce sont seulement
62% des erreurs qui sont détectées, et lorsque l'erreur est détectée, la
première proposition faite par MSWord est la bonne dans seulement
74% des cas. Dans
16% des cas, aucune des propositions n'est valable...
Il reste encore du boulot!
7 Commentaires:
Bonnes vacances et merci pour cette belle année bien nourrie !
Ouf, mon regard a fourché sur le dernier mot ! Je me disais aussi !
Merci à toi, Jean, et reviens (pas trop) vite !!!
Je ne peux que me joindre au choreia, vous remercier de toutes ces notes, et vous souhaiter une bonne vacance de blog!
Bonnes vacances, et rapporte-nous donc quelques mots d'été...
Bonnes vacances à tous!
Mélanie
Bonjour
En attendant que vous reveniez vaquer à nous instruire et nous amuser sur votre blog, je vous signale un article paru aujourd'hui 1er aoüt sur libération.fr : http://www.liberation.fr/page.php?Article=314711
Le journaliste dans le titre utilise le terme clope au féminin mais si on se réfère au TLF, clope est masculin. Par la méthode de vérification par Google, on remarque que "la clope" l'emporte haut la main. Même si les dictionnaires évoquent l'existence du féminin, voici une démonstration de la limite de cette méthode. Tout cela pour rappeler que le dictionnaire reste notre meilleur allié.
Au plaisir de vous lire bientôt.
Enregistrer un commentaire