Corretor de caracteres estranhos

Uma letra, duas formas de ler

Um arquivo não contém letras. Contém números chamados bytes, e uma codificação é a tabela que diz qual número representa qual caractere. Quase tudo o que se escreve hoje usa UTF-8, em que letras simples ocupam um byte, letras acentuadas ocupam dois e sinais tipográficos como aspas curvas ou o símbolo do euro ocupam três.

Windows-1252 é uma tabela mais antiga em que cada caractere tem exatamente um byte. Entregue um texto UTF-8 a um programa que o lê com essa tabela antiga e cada byte sai como um caractere separado. Os dois bytes de é (C3 A9) aparecem como Ã e ©. O estrago tem um nome emprestado do japonês, mojibake, e você provavelmente já o viu de uma destas formas.

Como o conserto é feito

A ferramenta percorre o seu texto e para em cada sequência de caracteres da metade superior do Windows-1252. Ela transforma cada um de volta no byte de onde veio e depois verifica se esses bytes formam um caractere UTF-8 válido.

Válido quer dizer um byte inicial entre C2 e F4 seguido do número certo de bytes de continuação (80 a BF), sem formas longas demais, sem valores substitutos (surrogates). Se formam, a sequência é trocada pelo caractere que ela codifica. Se não formam, nada muda. Esse teste também é o que protege um texto escrito corretamente. O é de um “café” saudável é um único byte em Windows-1252, e um único byte nunca passa por um par UTF-8.

Um texto que foi danificado, salvo e danificado de novo mostra cadeias mais longas, como é. A ferramenta repete a passagem até cinco vezes, tirando uma camada por vez, até o texto parar de mudar.

Como ler os três destaques

Consertado

Os bytes foram decodificados sem problema, então essas mudanças são seguras. Passe o cursor sobre a palavra para ver o que ela substituiu.

Palpite, confira

Faltava um byte e a ferramenta preencheu a lacuna. São dois casos. Ã seguido de um espaço é lido como à, porque o segundo byte dessa letra (A0) também é o espaço não separável e muitas vezes vira um espaço comum. Um â€ sozinho é lido como aspas curvas de fechamento, porque o terceiro byte (9D) não tem caractere no Windows-1252 e costuma sumir. A ferramenta só arrisca esses palpites quando o texto mostra outros sinais claros de mojibake.

Perdido, digite de novo

Um �, ou um ponto de interrogação preso entre duas letras, como em r?sum?. Algum programa substituiu o caractere antes de salvar e não sobrou nenhum byte para decodificar. A ferramenta marca o lugar e você coloca a letra.

Um Â solto antes de um espaço é a primeira metade de um espaço não separável. A ferramenta o remove e mostra o espaço que fica com uma marca discreta, para você distingui-lo de um espaço normal.

Corte o problema na origem

Consertar texto colado só trata o sintoma. Em algum ponto anterior, um programa grava em UTF-8 e outro não foi avisado. Estes são os lugares de sempre.

Um CSV aberto no Excel

Clique duas vezes num CSV e o Excel supõe a velha tabela do Windows. Em vez disso, vá em Dados, De Texto/CSV, e defina a Origem do arquivo como 65001: Unicode (UTF-8). Ao exportar, escolha “CSV UTF-8 (delimitado por vírgulas)”.

Um banco de dados MySQL ou MariaDB

Colunas declaradas latin1 que guardam bytes UTF-8, ou um dump importado com o --default-character-set errado. As tabelas e a conexão devem usar utf8mb4.

Uma página web

Coloque <meta charset="utf-8"> em primeiro lugar no <head> e faça o servidor enviar Content-Type: text/html; charset=utf-8.

Um e-mail ou um arquivo de texto

No e-mail, o cabeçalho Content-Type: text/plain; charset=UTF-8. Nos arquivos, salve em UTF-8 pelo menu “Salvar com codificação” do editor.

O que não dá para recuperar

A ferramenta trata de um acidente, que por acaso é de longe o mais comum: UTF-8 lido como Windows-1252 ou Latin-1. Qualquer idioma é coberto, grego e cirílico inclusive, desde que a confusão tenha sido essa. Outros pares ficam de fora, como Mac Roman (em que é aparece como é), Windows-1251 e Shift-JIS. O palpite que transforma Ã mais um espaço em à serve para o italiano, o português e outros idiomas que usam essa letra como palavra. Em qualquer outro texto, confira.