Doppelte Zeilen entfernen
Entfernen Sie doppelte Zeilen aus einer Liste, während das erste Vorkommen jeder Zeile erhalten bleibt. Fügen Sie Ihre Liste in die Texteingabe ein, um ein bereinigtes, dedupliziertes Ergebnis zu erhalten.
Tool zum Entfernen doppelter Zeilen aus Text
Formel zum Entfernen doppelter Zeilen
Wobei gilt:
- \(X\) — der in der Texteingabe eingegebene Text.
- \(s\) — eine einzelne Zeile der Eingabe.
- \(\operatorname{trim}(s)\) — die Zeile, nachdem führende und abschließende Leerzeichen entfernt wurden.
- \(U\) — die nichtleeren, eindeutigen Zeilen in der Reihenfolge ihres ersten Auftretens.
Das Tool unterteilt die Eingabe in Zeilen, entfernt bei jeder Zeile die Leerzeichen am Anfang und Ende, überspringt leere Zeilen und behält nur das erste Vorkommen jeder verbleibenden Zeile. Das Ergebnis wird nicht sortiert.
Doppelte Zeilen entfernen – Berechnungsbeispiel
Beispiel: Geben Sie die Standardliste ein: Apple, Banana, Apple, Orange und Banana — mit je einem Eintrag pro Zeile.
\[ [\text{Apple},\ \text{Banana},\ \text{Apple},\ \text{Orange},\ \text{Banana}] \longrightarrow [\text{Apple},\ \text{Banana},\ \text{Orange}] \]
Ergebnis: Das Feld „Eindeutige Zeilen“ enthält 3 Zeilen: Apple, Banana und Orange, in dieser Reihenfolge. Das zweite Apple und das zweite Banana werden entfernt.
So verwenden Sie das Tool zum Entfernen doppelter Zeilen
- Fügen Sie Ihre Liste in die Texteingabe ein oder tippen Sie sie dort, wobei sich jeder Eintrag in einer eigenen Zeile befindet. Das Feld enthält anfangs ein fünfzeiliges Beispiel, das Sie ersetzen können.
- Prüfen Sie das Ergebnis unter Eindeutige Zeilen. Jeder beibehaltene Eintrag erscheint einzeln, in derselben Reihenfolge wie sein erstes Auftreten in Ihrer Eingabe.
- Verwenden Sie die Kopierfunktion des Ergebnisses, wenn Sie die bereinigte Liste an anderer Stelle benötigen. Überprüfen Sie nach dem Einfügen die Zeilenumbrüche in der Zielanwendung, insbesondere wenn Sie sie in eine Tabellenkalkulation oder einen anderen Editor übertragen.
Sie müssen Duplikate nicht selbst zählen oder markieren. Um zu testen, wie das Tool mit Ihren Daten umgeht, versuchen Sie, denselben Eintrag zweimal einzugeben — einmal mit Leerzeichen am Anfang oder Ende einer Zeile — und vergleichen Sie dann das Ergebnis.
Was gilt als doppelte Zeile?
Ein Duplikat ist eine Zeile, deren Text nach dem Entfernen von Leerzeichen an beiden Enden mit einer früheren Zeile übereinstimmt. Beispielsweise werden eine Zeile mit dem Inhalt Apple und eine spätere Zeile mit Apple zu demselben Eintrag. Nur das erste Vorkommen bleibt erhalten. Zeilen, die ausschließlich Leerzeichen enthalten, werden vollständig ausgelassen. Das Ergebnis kann also weniger Zeilen enthalten, selbst wenn kein nichtleerer Eintrag doppelt vorkommt.
Der Vergleich unterscheidet zwischen Groß- und Kleinschreibung. Apple, apple und APPLE sind drei verschiedene Zeilen und bleiben alle erhalten. Auch Leerzeichen oder Satzzeichen innerhalb einer Zeile spielen eine Rolle: New York stimmt nicht mit New York überein. Das Tool korrigiert keine Rechtschreibung, vereinheitlicht keine Formatierung und entscheidet nicht, ob zwei unterschiedlich geschriebene Einträge dasselbe bedeuten.
Das Ergebnis bewahrt die Reihenfolge des ersten Auftretens. Erscheint ein Name in Zeile zwei und Zeile zehn, wird seine Position im Ergebnis durch Zeile zwei bestimmt. Das ist nützlich, wenn die ursprüngliche Reihenfolge eine Priorität oder einen Kontext vermittelt, etwa bei einer manuell erstellten Rangliste. Wenn Sie anschließend alphabetische Reihenfolge wünschen, verwenden Sie den Listensortierer. Bei unterschiedlich geschriebenen Einträgen kann ein Groß-/Kleinbuchstaben-Konverter helfen, den Text vor dem Entfernen der Duplikate zu vereinheitlichen.
Praktische Hinweise und Einschränkungen
- Ein Datensatz pro Zeile verwenden. Ein kommagetrennter Satz bleibt eine Zeile; das Tool teilt ihn nicht in einzelne Einträge auf. Wenn Ihre Einträge zunächst getrennt werden müssen, probieren Sie den Texttrenner aus.
- Exakte Textübereinstimmung nach dem Trimmen erwarten. Bei einer Adressliste bleiben
Alex@example.comundalex@example.comgetrennt, weil sie sich in der Groß-/Kleinschreibung unterscheiden. Prüfen Sie die gewünschte Schreibweise, bevor Sie das Ergebnis als endgültige Liste eindeutiger Personen betrachten. - Strukturierte Daten sorgfältig prüfen. Eine CSV-Zeile wird als ganze Zeile behandelt; ihre Spalten werden nicht ausgewertet. Zwei Zeilen, die sich in Leerzeichen oder Satzzeichen unterscheiden, können getrennt bleiben, und das Tool kann Duplikate nicht anhand nur einer Spalte erkennen.
- Leerzeilen werden nicht beibehalten. Verwenden Sie das Ergebnis nicht, wenn Leerzeilen als sinnvolle Trenner zwischen Gruppen dienen.
Vergleichen Sie zur letzten Kontrolle das bereinigte Ergebnis mit Ihrer ursprünglichen Liste, bevor Sie die Quelle löschen — insbesondere dann, wenn kleine Unterschiede bei Groß-/Kleinschreibung, internen Leerzeichen oder Satzzeichen bedeutsam sein können. Um zu messen, wie viel Text nach der Bereinigung übrig bleibt, fügen Sie das Ergebnis in den Zeichenzähler ein.
Häufig gestellte Fragen
Wie kann ich doppelte Zeilen von Hand entfernen?
Lesen Sie die Liste von oben nach unten und führen Sie eine separate Aufzeichnung der Zeilen, die Sie bereits gesehen haben. Entfernen Sie bei jeder neuen Zeile die Leerzeichen am Anfang und Ende und vergleichen Sie sie dann mit dieser Aufzeichnung. Notieren Sie sie nur, wenn sie noch nicht aufgetreten ist. So bleibt die ursprüngliche Reihenfolge erhalten, aber bei einer langen Liste ist eine Tabellenkalkulation oder ein Texttool weniger fehleranfällig.
Wie zähle ich, wie viele doppelte Zeilen entfernt wurden?
Zählen Sie die nichtleeren Eingabezeilen nach dem Trimmen und ziehen Sie dann davon die Anzahl der Zeilen im Ergebnis ab. Werden beispielsweise aus 20 nichtleeren Zeilen 14 eindeutige Zeilen, wurden sechs wiederholte Zeilen entfernt. Beziehen Sie leere oder nur Leerzeichen enthaltende Eingabezeilen nicht in diese Duplikatzahl ein: Diese Zeilen werden verworfen, aber sie sind keine Duplikate eines Eintrags.
Warum bleiben zwei Zeilen erhalten, die identisch aussehen?
Sie enthalten möglicherweise unterschiedliche Zeichen, die gleich aussehen. Häufige Ursachen sind ein normales Leerzeichen gegenüber einem geschützten Leerzeichen im Text, ein verstecktes Zeichen ohne Breite oder optisch ähnliche Buchstaben aus verschiedenen Schriftsystemen. Kopieren Sie beide Zeilen in einen Texteditor, der unsichtbare Zeichen anzeigen kann, oder untersuchen Sie ihre Unicode-Codepunkte. Das Trimmen der Zeilenenden normalisiert keine Zeichen innerhalb der Zeilen.
Funktioniert es mit Windows- und Mac-Zeilenumbrüchen?
Standard-Windows-Zeilenumbrüche (CRLF) und Unix-Zeilenumbrüche (LF), die auch von modernen macOS-Versionen verwendet werden, werden erkannt. Dateien mit der älteren Mac-Konvention aus nur Wagenrückläufen (CR) werden möglicherweise als eine einzige Zeile behandelt. Wenn sich eine eingefügte Liste nicht wie erwartet trennt, konvertieren Sie ihre Zeilenumbrüche in einem Texteditor zu LF oder CRLF und versuchen Sie es erneut.
Kann ich Duplikate anhand einer Spalte einer CSV-Datei entfernen?
Nicht mit diesem Tool allein: Es vergleicht jede vollständige Zeile, statt ein Feld auszuwählen. Zwei Zeilen mit derselben E-Mail-Adresse, aber unterschiedlichen Namen bleiben beispielsweise beide erhalten. Öffnen Sie die CSV in einer Tabellenkalkulation oder einem Datentool und wählen Sie die Spalte, die ein Duplikat definiert. Prüfen Sie, welche Zeile dieses Tool beibehält, insbesondere wenn andere Spalten Informationen enthalten, die Sie benötigen.
Wie kann ich Duplikate entfernen, ohne Groß- und Kleinschreibung als unterschiedlich zu behandeln?
Vereinheitlichen Sie die Groß-/Kleinschreibung, bevor Sie die Zeilen vergleichen, etwa indem Sie eine Kopie der Liste in Kleinbuchstaben umwandeln. Beachten Sie, dass dies auch die Groß-/Kleinschreibung im Ergebnis ändert. Wenn Sie die ursprüngliche Schreibweise jedes ersten Vorkommens beibehalten möchten, verwenden Sie eine Tabellenkalkulation oder ein Skript, das eine Kopie jeder Zeile in Kleinbuchstaben vergleicht, aber die ursprüngliche Zeile ausgibt.