CSV-Deduplicator

Das Tool verwendet vollständige Zeilengleichheit. Zwei Zeilen sind Duplikate, wenn jede Zelle übereinstimmt, Position für Position, nach der standardmäßigen CSV-Analyse.

Dinge, die weiterhin als unterschiedlich gelten

Wann eine spaltenbasierte Deduplizierung sinnvoller ist

Die vollständige Zeilenübereinstimmung ist streng, was normalerweise gewünscht ist, aber manchmal möchte man tatsächlich “eine Zeile pro E-Mail unabhängig von anderen Spalten”. In diesem Fall verwenden Sie zuerst den CSV-Spaltenextraktor, um die Datei auf nur die Schlüsselspalte zu reduzieren, deduplizieren Sie diese und verwenden Sie das Ergebnis als Nachschlagewerk. Oder greifen Sie auf SQL zurück: SELECT DISTINCT ON (email) * FROM users ORDER BY email, created_at DESC; in PostgreSQL oder ein GROUP BY mit MIN() Aggregaten anderswo.

Praktische Tipps

• Normalisieren Sie, bevor Sie deduplizieren. Entfernen Sie Leerzeichen und standardisieren Sie die Groß- und Kleinschreibung in den Schlüsselspalten zuerst, andernfalls überleben sowohl ALICE@EXAMPLE.COM als auch alice@example.com.
• Sortieren, dann deduplizieren, für überprüfbare Ergebnisse. Wenn Sie wissen müssen, welche Kopie beibehalten wurde, sortieren Sie die CSV nach Ihrem bevorzugten Tie-Breaker (neuester Zeitstempel, niedrigste ID), bevor Sie das Tool ausführen.
• Überprüfen Sie die Zeilenanzahl. Verwenden Sie den CSV-Zeilen-Zähler auf der Original- und Ausgabedatei, um zu bestätigen, wie viele Duplikate entfernt wurden.