Correcteur d’accents cassés

Une lettre, deux façons de la lire

Un fichier ne contient pas de lettres. Il contient des nombres appelés octets et un encodage est la table qui dit quel nombre représente quel caractère. Presque tout ce qui s’écrit aujourd’hui utilise UTF-8, où les lettres simples prennent un octet, les lettres accentuées en prennent deux et les signes typographiques comme les guillemets courbes ou le signe de l’euro en prennent trois.

Windows-1252 est une table plus ancienne où chaque caractère tient sur exactement un octet. Donnez un texte UTF-8 à un programme qui le lit avec cette ancienne table et chaque octet ressort comme un caractère à part. Les deux octets de é (C3 A9) apparaissent sous la forme Ã et ©. Ce dégât porte un nom emprunté au japonais, mojibake et vous l’avez sûrement croisé sous l’une de ces formes.

Comment se fait la réparation

L’outil parcourt votre texte et s’arrête à chaque suite de caractères de la moitié haute de Windows-1252. Il remet chacun en l’octet d’où il vient, puis vérifie si ces octets forment un caractère UTF-8 valide.

Valide veut dire un octet de tête entre C2 et F4 suivi du bon nombre d’octets de continuation (80 à BF), sans forme trop longue ni valeur de substitution. Si c’est le cas, la suite est remplacée par le caractère qu’elle code. Sinon, rien ne change. Ce test protège aussi le texte correctement écrit. Le é d’un « café » sain est un seul octet en Windows-1252 et un octet seul ne peut jamais passer pour une paire UTF-8.

Un texte abîmé, enregistré puis abîmé de nouveau montre des chaînes plus longues comme é. L’outil répète la passe jusqu’à cinq fois, en retirant une couche à chaque tour, jusqu’à ce que le texte ne change plus.

Lire les trois surlignages

Réparé

Les octets se sont décodés proprement, ces changements sont donc sûrs. Pointez le mot pour voir ce qu’il a remplacé.

Meilleure hypothèse, à vérifier

Il manquait un octet et l’outil a comblé le trou. Il y a deux cas. Ã suivi d’une espace est lu comme à, parce que le deuxième octet de cette lettre (A0) est aussi l’espace insécable et qu’il est souvent aplati en espace ordinaire. Un â€ seul est lu comme un guillemet courbe fermant, parce que son troisième octet (9D) n’a pas de caractère en Windows-1252 et tend à disparaître. L’outil ne fait ces hypothèses que lorsque le texte montre d’autres signes clairs de mojibake.

Perdu, à retaper

Un �, ou un point d’interrogation coincé entre deux lettres comme dans r?sum?. Un programme a remplacé le caractère avant l’enregistrement et il ne reste aucun octet à décoder. L’outil marque l’endroit et vous fournissez la lettre.

Un Â isolé devant une espace est la première moitié d’une espace insécable. L’outil le retire et montre l’espace qui reste avec une marque discrète, pour que vous la distinguiez d’une espace normale.

L’arrêter là où ça commence

Réparer un texte collé ne soigne que le symptôme. Quelque part en amont, un programme écrit en UTF-8 et un autre n’en a pas été informé. Voici les endroits habituels.

Un CSV ouvert dans Excel

Un double-clic sur un CSV et Excel suppose l’ancienne table Windows. Passez plutôt par Données, À partir du texte/CSV et réglez l’origine du fichier sur 65001: Unicode (UTF-8). À l’export, choisissez « CSV UTF-8 (délimité par des virgules) ».

Une base de données MySQL ou MariaDB

Des colonnes déclarées latin1 qui contiennent des octets UTF-8, ou un dump importé avec le mauvais --default-character-set. Les tables et la connexion doivent toutes deux utiliser utf8mb4.

Une page web

Mettez <meta charset="utf-8"> en premier dans le <head> et faites envoyer par le serveur Content-Type: text/html; charset=utf-8.

Un e-mail ou un fichier texte

Pour un e-mail, l’en-tête Content-Type: text/plain; charset=UTF-8. Pour un fichier, enregistrez en UTF-8 depuis le menu « Enregistrer avec l’encodage » de l’éditeur.

Ce qu’il ne peut pas récupérer

L’outil traite un seul accident, qui se trouve être de loin le plus courant : de l’UTF-8 lu comme du Windows-1252 ou du Latin-1. Toutes les langues sont couvertes, grec et cyrillique compris, tant que c’était bien cette confusion. Les autres paires sont hors de portée, comme Mac Roman (où é apparaît sous la forme é), Windows-1251 et Shift-JIS. L’hypothèse qui transforme Ã plus une espace en à convient à l’italien, au portugais et aux autres langues où cette lettre est un mot. Dans tout autre texte, vérifiez-la.