Linguists consider it a matter of faith to poke fun at
machine translations. It is true that they often provide us with a veritable anthology of badly-constructed sentences and meaningless phrases that can border on the surreal. But the earliest research in machine translation dates from the beginning of the 1950s: more than half a century of effort has not been enough for us to succeed in cracking the code. A sign of the inherent difficulties of language, perhaps? In the same period of time, we have managed to decipher the human genome (the discovery of the double helix structure of DNA in
1953 dates from around the same time as the early days of machine translation)...
Still, progress is being made – too slowly for my liking, of course, but we mustn’t be unfair. If machine translation cannot compete with a human translator (even a bad one!), that doesn’t necessarily mean that it is completely without interest. Here’s a little experiment that I give to my students each year in my introductory course to Automatic Language Processing. Let’s take one of the day’s top stories in a Greek newspaper,
Kathimerini:
Δύο νέα κρούσματα στην Τουρκία του θανατηφόρου ιού της γρίπης των πτηνών Ο Παγκόσμιος Οργανισμός Υγείας ανακοίνωσε σήμερα στη Γενεύη ότι δυο παιδιά που νοσηλεύονται στην Τουρκία έχουν προσβληθεί από το θανατηφόρο στέλεχος Η5Ν1 του ιού της γρίπης των πτηνών.
Εκπρόσωπος του Οργανισμού δήλωσε ότι τα παιδιά, ηλικίας 5 και 8 ετών, προέρχονται από την ίδια περιοχή με τα τρία αδέλφια που πέθαναν από τη γρίπη των πτηνών αυτήν την εβδομάδα.
Σημειώνεται πως 32 άτομα νοσηλεύονται σε νοσοκομείο της πόλης Βαν με ύποπτα συμπτώματα, ενώ τουλάχιστον πέντε περιοχές της ανατολικής Τουρκίας έχουν τεθεί σε καραντίνα.
Probably doesn’t mean a lot to you, does it? I always deliberately chose a language that few people are likely to know. Greek is perfect because we can’t even hazard a guess at what the text is about from the form of the words (whereas we can decipher English, Spanish or German even if we don’t speak the language). Chinese or Japanese would also make good candidates!
Let’s compare this with the version translated by
Babelfish:
Two new cases in Turkey of leathal virus of flu of birds
The World Organism of Health announced today in Geneva that two children that nosiley'ontaj in Turkey they have been offended by leathal executive I5N1 of virus of flu of birds.
Representative of Organism declared that the children, age 5 and 8 years, emanate from the same region with the three brothers that died from the flu of birds this week.
It is marked that 32 individuals nosiley'ontaj in hospital of city Van with suspect symptoms, while at least five regions of Eastern Turkey have been placed in quarantine.
This translation is a perfect example of the state of the art in the field. We can understand the general subject matter (
bird flu in Turkey), and we can even list the main facts: two children aged 5 and 8 have died from bird flu in Turkey, 32 people have been hospitalised with suspicious symptoms, five regions are under quarantine, etc. Some of the errors are stupid: H5N1 is translated as I5N1, νοσηλεύονται (
hospitalised, cured) is missing from the dictionary. Things could easily be improved.
On no account should such translations be used as final documents, and I’m always stunned when students (or colleagues!) proudly announce how they have had their résumé machine translated for a conference! But machine translation has reached the point where it can now legitimately be used as a
tool for deciphering a text, a way of quickly getting to know the subject matter and general content of pages in foreign languages, for those situations where paying a translator would be inconceivable. It is used, for instance, in economic monitoring, and can be prove useful for ordinary web surfers as well: although by far the majority of documents on the web are written in English, less than 30% of web surfers are English-speakers (according to a study carried out by
Byte Level), and this proportion is falling all the time.
It comes as no surprise, then, that most search engines offer the option of translating any pages returned. But with such a considerable potential market, it is quite surprising to see that the offer is so limited:
Google and
Yahoo both use the same technology, the
Systran system, which is also behind
Babelfish (Altavista). At first, French search engine
Voila used
Reverso by
Softissimo, before finally opting for Systran as well … Portals like AOL and Wanadoo also offer Systran. Indeed, Systran has Internet operators to thank for the lion’s share of its turnover.
In the midst of such widespread systrannisation,
Ask Jeeves recently made the surprising announcement that it is to associate with Reverso [via
DSI (fr)], which is also available on the search engine’s
French beta version.
Is this a bad choice? In order to find out, we asked 58 students from the first year of our degree course to look into the question. Our project consisted of having students translate a text of their choice, of at least 500 words in length, from their second language
into their mother tongue (in order to enable them to correctly judge the quality of the end result), using both Reverso and Systran (on the Babelfish site). Each student then had to deliver a detailed report on the errors and their probable causes (word missing from dictionary, etc); don’t worry, I’ll spare you the details. The final question asked each student to choose whether it was Reverso or Systran that provided the
most readable translation.
The results are quite categorical:
| Source | Target | Reverso | Systran |
|---|
| German | French | 2 | 0 |
| English | French | 15 | 5 |
| Italian | French | 8 | 1 |
| Spanish | French | 20 | 6 |
French
| English | 0 | 1 |
| Total |
| 45 | 13 |
For all the languages studied, the choice was clear - Reverso.
So... could this be a smart move on the part of Ask Jeeves? In any case, Systran, who has fallen out with its traditional “cash cow” the European Commission [see
Le Monde,
Systran (fr)] will have to buck its ideas up if it is to survive in the pitiless world of the Internet operators.
Thanks
Estelle for going through the study.
8 Commentaires:
Bravo ! Quel travail ! Félicitations !
pour tous ces petits plugins !
Je me pose des questions après l'ajout de toutes ces foncionnalités : le moteur de recherche "dir.com" appartient toujours à Iliad. Mais il n'en font pas grand chose et j'ai l'impression qu'ils le laissent suffisament ouvert (via Philippe) pour le faire évoluer notamment grâce à votre connaissance sur le sujet.
Quel est donc leur intérêt de posséder ce moteur alors qu'ils viennent de changer la charte graphique de leur site et qu'ils mettent un lien direct vers google pour effectuer les recherches ?
Autre question : En pensant qu'ils ont quand même un intérêt dans le moteur, et surtout avec les ajouts de fonctionnalités que vous apportez brillamment (sisi!), vos développements sont ils "protégés" par des licences ? GPL ou autres ?
Etant donné que vous êtes chercheur et que Iliad est aussi un groupe de chercheur mais sans les mêmes intérêts :-) je me pose naturellement cette question.
Merci.
Djedje> Merci!
Je ne suis pas dans le secret des dieux de l'Iliad, mais je crois qu'ils gardent Dir comme plateforme d'expérimentation. C'est évidememnt dommage qu'aucune grosse boîte française ne se lance sérieusement sur le marché des moteurs: France Telecom s'en est désintéressé avec Voila... Il y a évidemment Exalead, qui fait un superbe travail, mais qui est un peu petite pour faire face aux géants américains (et la bureaucratie Européenne dans laquelle ils semblent se lancer ne va pas arranger ça). Iliad aurait les reins assez solides... On verra bien. En attendant c'est un bel outil de recherche: le fait qu'il n'y ait pas de préoccupation marketing immédiate permet de s'affranchir de bien des pesanteurs...
En ce qui concerne mes petits logiciels, il faut bien comprendre qu'ils fonctionnent en symbiose avec le moteur, mais sont autonomes. J'interroge le moteur avec des fonctions spéciales que Philippe a bien voulu créer (si on veut faire branché on peut appeler ça une API), et je traite les résultats sur mon serveur. Pas de licence, puisque je ne distribue rien. Il y a deux raisons à cela: d'une part c'est très expérimental, et ce qui m'intéresse pour l'instant c'est d'étudier et d'améliorer ; d'autre part, c'est de la programmation déguelasse ("quick and dirty"), dont je suis un fervent adepte (si on veut faire branché on peut appeler ça "prototypage" ;-) J'aurais trop honte de montrer ça. Dans quelque temps peut-être...
Merci pour ces deux petits plus. Seulement... où apparaissent-ils dans Firefox une fois chargés ? Merci.
Eskaloo> où apparaissent-ils dans Firefox une fois chargés? -- dans la "barre de recherche", en haut à droite, là où il y a déjà par défaut, Google, Yahoo, Amazon, etc...
Bonjour,
Merci pour les plugins, et plus généralement pour le travail de recherche, et d'explication que vous faites.
cordialement.
Laurent
Bonjour,
Merci.
Cordialement,
Bonjour,
Je trouve votre représentation de l'information sous forme de nuages de mots ( TagCloud ) intéressante et innovante.
Ma question est purement technique.
L'algorithme que vous utilisez est-il public ?
Envisagez-vous de publier votre algorithme ?
Philippe> L'algorithme que vous utilisez est-il public ? -- non, ça fait partie de ma petite cuisine personnelle. Pour l'instant je n'envisage pas de le publier, parce que c'est en pleine phase de tests et d'amélioration. D'ailleurs, il y a plein d'autres fonctionnalités que je suis en train d'ajouter (je vous en ferai profiter bientôt ;)
Enregistrer un commentaire