Zeichensalat reparieren

Ein Buchstabe, zwei Arten, ihn zu lesen

In einer Datei gibt es keine Buchstaben. Es gibt Zahlen, die Bytes heißen, und eine Kodierung ist die Tabelle, die sagt, welche Zahl für welches Zeichen steht. Fast alles, was heute geschrieben wird, verwendet UTF-8, wo einfache Buchstaben ein Byte belegen, Buchstaben mit Akzent oder Umlaut zwei und typografische Zeichen wie typografische Anführungszeichen oder das Eurozeichen drei.

Windows-1252 ist eine ältere Tabelle, in der jedes Zeichen genau ein Byte ist. Geben Sie UTF-8-Text an ein Programm, das ihn mit dieser älteren Tabelle liest, und jedes Byte erscheint als eigenes Zeichen. Die zwei Bytes von é (C3 A9) tauchen als Ã und © auf. Der Schaden hat einen aus dem Japanischen entlehnten Namen, Mojibake, und Sie sind ihm wahrscheinlich schon in einer dieser Formen begegnet.

Wie die Reparatur funktioniert

Das Tool geht Ihren Text durch und hält bei jeder Folge von Zeichen aus der oberen Hälfte von Windows-1252 an. Es verwandelt jedes davon zurück in das Byte, aus dem es entstanden ist, und prüft dann, ob diese Bytes ein gültiges UTF-8-Zeichen bilden.

Gültig heißt: ein Startbyte zwischen C2 und F4, gefolgt von der richtigen Zahl an Folgebytes (80 bis BF), keine überlangen Formen, keine Surrogat-Werte. Trifft das zu, wird die Folge durch das Zeichen ersetzt, das sie kodiert. Trifft es nicht zu, ändert sich nichts. Dieser Test schützt auch korrekt geschriebenen Text. Das é in einem gesunden „café“ ist in Windows-1252 ein einzelnes Byte, und ein einzelnes Byte kann nie als UTF-8-Paar durchgehen.

Text, der beschädigt, gespeichert und erneut beschädigt wurde, zeigt längere Ketten wie é. Das Tool wiederholt den Durchgang bis zu fünfmal und schält jedes Mal eine Schicht ab, bis sich der Text nicht mehr ändert.

Die drei Markierungen lesen

Repariert

Die Bytes ließen sich sauber dekodieren, diese Änderungen sind also sicher. Zeigen Sie auf das Wort, um zu sehen, was es ersetzt hat.

Beste Vermutung, prüfen

Ein Byte fehlte, und das Tool hat die Lücke gefüllt. Es gibt zwei Fälle. Ã gefolgt von einem Leerzeichen wird als à gelesen, weil das zweite Byte dieses Buchstabens (A0) auch das geschützte Leerzeichen ist und oft zu einem gewöhnlichen eingeebnet wird. Ein einzelnes â€ wird als schließendes typografisches Anführungszeichen gelesen, weil sein drittes Byte (9D) in Windows-1252 kein Zeichen hat und gern verschwindet. Diese Vermutungen stellt das Tool nur an, wenn der Text andere deutliche Anzeichen von Mojibake zeigt.

Verloren, neu eintippen

Ein � oder ein Fragezeichen zwischen zwei Buchstaben wie in r?sum?. Ein Programm hat das Zeichen vor dem Speichern ersetzt, und es ist kein Byte mehr zum Dekodieren übrig. Das Tool markiert die Stelle, und Sie setzen den Buchstaben ein.

Ein verirrtes Â vor einem Leerzeichen ist die erste Hälfte eines geschützten Leerzeichens. Das Tool entfernt es und zeigt das verbleibende Leerzeichen mit einer zarten Markierung, damit Sie es von einem normalen unterscheiden können.

Das Problem an der Quelle stoppen

Eingefügten Text zu reparieren behandelt nur das Symptom. Irgendwo weiter vorne schreibt ein Programm UTF-8, und ein anderes weiß nichts davon. Das sind die üblichen Stellen.

Eine CSV-Datei in Excel geöffnet

Doppelklicken Sie auf eine CSV-Datei, geht Excel von der alten Windows-Tabelle aus. Gehen Sie stattdessen über Daten, Aus Text/CSV, und stellen Sie den Dateiursprung auf 65001: Unicode (UTF-8). Wählen Sie beim Exportieren „CSV UTF-8 (durch Trennzeichen getrennt)“.

Eine MySQL- oder MariaDB-Datenbank

Spalten, die als latin1 deklariert sind und UTF-8-Bytes enthalten, oder ein Dump, der mit dem falschen --default-character-set importiert wurde. Tabellen und Verbindung sollten beide utf8mb4 verwenden.

Eine Webseite

Setzen Sie <meta charset="utf-8"> an den Anfang des <head> und lassen Sie den Server Content-Type: text/html; charset=utf-8 senden.

Eine E-Mail oder eine Textdatei

Bei E-Mails der Header Content-Type: text/plain; charset=UTF-8. Bei Dateien speichern Sie über das Menü „Mit Kodierung speichern“ des Editors als UTF-8.

Was es nicht retten kann

Das Tool behandelt einen Unfall, der zufällig mit Abstand der häufigste ist: UTF-8, gelesen als Windows-1252 oder Latin-1. Jede Sprache ist abgedeckt, Griechisch und Kyrillisch eingeschlossen, solange genau diese Verwechslung vorlag. Andere Paare liegen außerhalb, etwa Mac Roman (wo é als é erscheint), Windows-1251 und Shift-JIS. Die Vermutung, die aus Ã plus Leerzeichen ein à macht, passt zu Italienisch, Portugiesisch und anderen Sprachen, die diesen Buchstaben als eigenes Wort verwenden. In jedem anderen Text prüfen Sie sie nach.