Исправление кракозябр

Одна буква, два способа ее прочитать

В файле нет букв. В нем числа, которые называют байтами, а кодировка это таблица, где сказано, какое число какой символ означает. Почти все, что пишется сегодня, использует UTF-8: латинские буквы занимают один байт, буквы с диакритикой два, а типографские знаки вроде фигурных кавычек или знака евро три.

Windows-1252 это более старая таблица, где каждый символ ровно один байт. Дайте текст в UTF-8 программе, которая читает его по этой старой таблице, и каждый байт выйдет отдельным символом. Два байта é (C3 A9) покажутся как Ã и ©. У этой поломки есть имя, взятое из японского, mojibake (по-нашему «кракозябры»), и вы наверняка встречали ее в одной из этих форм.

Как делается исправление

Инструмент проходит по тексту и останавливается на каждой цепочке символов из верхней половины Windows-1252. Он превращает каждый обратно в байт, из которого тот получился, и проверяет, складываются ли эти байты в допустимый символ UTF-8.

Допустимый значит: ведущий байт от C2 до F4, за ним нужное число байтов продолжения (от 80 до BF), без избыточно длинных форм и без суррогатных значений. Если да, цепочка заменяется символом, который она кодирует. Если нет, ничего не меняется. Эта же проверка защищает правильно написанный текст. é в здоровом слове «café» это один байт в Windows-1252, а один байт никогда не сойдет за пару UTF-8.

В тексте, который испортили, сохранили и испортили снова, видны более длинные цепочки вроде é. Инструмент повторяет проход до пяти раз, снимая по одному слою, пока текст не перестанет меняться.

Как читать три вида подсветки

Исправлено

Байты декодировались чисто, эти правки надежны. Наведите на слово, чтобы увидеть, что оно заменило.

Догадка, проверьте

Одного байта не хватало, и инструмент заполнил пробел. Таких случаев два. Ã, за которой идет пробел, читается как à, потому что второй байт этой буквы (A0) также неразрывный пробел, а его часто превращают в обычный. Одиночное â€ читается как закрывающая фигурная кавычка, потому что у ее третьего байта (9D) нет символа в Windows-1252, и он обычно пропадает. Инструмент делает такие догадки, только если в тексте есть другие явные признаки mojibake.

Утрачено, наберите заново

Знак � или вопросительный знак между двумя буквами, как в r?sum?. Какая-то программа заменила символ перед сохранением, и декодировать уже нечего. Инструмент отмечает место, а букву вписываете вы.

Лишняя Â перед пробелом это первая половина неразрывного пробела. Инструмент ее убирает и показывает оставшийся пробел бледной меткой, чтобы его можно было отличить от обычного.

Остановить там, где начинается

Исправление вставленного текста лечит лишь симптом. Где-то выше по цепочке одна программа пишет UTF-8, а другой об этом не сказали. Вот обычные места.

CSV, открытый в Excel

Если открыть CSV двойным щелчком, Excel предполагает старую таблицу Windows. Вместо этого идите через «Данные», «Из текстового/CSV-файла» и задайте «Источник файла» 65001: Unicode (UTF-8). При экспорте выбирайте «CSV UTF-8 (разделитель запятая)».

База данных MySQL или MariaDB

Столбцы, объявленные как latin1, в которых лежат байты UTF-8, или дамп, импортированный с неверным --default-character-set. И таблицы, и соединение должны использовать utf8mb4.

Веб-страница

Поставьте <meta charset="utf-8"> первым в <head> и сделайте так, чтобы сервер отправлял Content-Type: text/html; charset=utf-8.

Письмо или текстовый файл

Для почты заголовок Content-Type: text/plain; charset=UTF-8. Для файлов сохраняйте в UTF-8 через меню редактора «Сохранить с кодировкой».

Чего не восстановить

Инструмент справляется с одной аварией, которая к тому же встречается чаще всего: UTF-8, прочитанный как Windows-1252 или Latin-1. Подходит любой язык, включая греческий и кириллицу, если путаница была именно такой. Другие пары вне его возможностей, например Mac Roman (где é выглядит как é), Windows-1251 и Shift-JIS. Догадка, превращающая Ã с пробелом в à, подходит итальянскому, португальскому и другим языкам, где эта буква бывает отдельным словом. В любом другом тексте проверьте ее.