Lo strumento confronta le righe e conserva la prima occorrenza di ciascuna, nello stesso ordine. Puoi distinguere maiuscole e minuscole, ignorare gli spazi ai bordi nel confronto ed eliminare le righe vuote. Le opzioni cambiano il criterio di uguaglianza: controllale prima di avviare l’operazione.
Una voce per riga, non una riga solo visiva
Incolla la lista con un elemento per riga. Un a capo esplicito separa due voci; una riga che va a capo automaticamente per la larghezza dell’editor non crea una seconda voce. Scegli le opzioni e premi Rimuovi i duplicati.
La prima occorrenza viene mantenuta nella posizione originale. Non ordiniamo alfabeticamente il risultato e non uniamo righe soltanto simili. Dopo l’operazione mostriamo quante righe c’erano, quante sono state eliminate e quante ne rimangono.
Il testo del riquadro viene sostituito dal risultato. Puoi annullare l’ultima sostituzione, ma per una lista importante conviene conservare anche una copia del contenuto iniziale. Il file originale eventualmente importato non viene sovrascritto.
Decidere se il confronto distingue il caso
Con Distingui maiuscole e minuscole attivo, “Roma” e “roma” sono due righe diverse. Se disattivi l’opzione, possono essere considerate la stessa voce e viene conservata la prima forma incontrata.
Considera quattro righe: “Roma”, “Milano”, “roma”, “Milano”. Con il confronto sensibile al caso viene eliminata soltanto l’ultima riga: restano Roma, Milano e roma. Con il confronto che ignora il caso vengono eliminate due righe: restano Roma e Milano.
La scelta dipende dai dati. In un elenco di nomi da uniformare può essere utile ignorare il caso. In identificatori, percorsi o codici la differenza può avere significato. Non applicare la stessa impostazione a tutte le liste solo perché produce un risultato più corto.
Stessa lista, due criteri di uguaglianza
| Lista iniziale | Impostazione | Righe conservate | Eliminate |
|---|---|---|---|
| Roma Milano roma Milano | Distingui maiuscole | Roma Milano roma | 1 |
| La stessa lista | Ignora maiuscole | Roma Milano | 2 |
Ignorare gli spazi ai bordi senza modificare le righe conservate
L’opzione sugli spazi confronta le righe dopo aver escluso la spaziatura iniziale e finale. Non riduce gli spazi interni e non riscrive la forma della prima occorrenza mantenuta.
Se la prima riga è “ Roma ” e una successiva è “Roma”, il confronto con spazi ai bordi ignorati le considera equivalenti. Viene però conservato il testo originale della prima riga, compresi i suoi spazi. La regola permette di separare deduplicazione e pulizia del formato.
Due righe come “San Marino” e “San Marino” restano diverse, perché la differenza è all’interno. Anche uno spazio invisibile che non viene classificato come spaziatura dal metodo può mantenere distinte due forme apparentemente identiche. Per questi casi serve una diagnosi del testo, non un’eliminazione alla cieca.
Come vengono trattate le righe vuote
Se l’opzione Elimina anche le righe vuote è attiva, le righe prive di contenuto utile vengono rimosse. Se è disattiva, una riga vuota può essere conservata come prima occorrenza, mentre altre righe uguali vengono comunque riconosciute come duplicati.
Questo comportamento è adatto a liste, non alla conservazione della struttura di un romanzo o di un articolo. Le righe vuote possono separare paragrafi e sezioni. Deduplicare indiscriminatamente un testo discorsivo può eliminare frasi ripetute intenzionalmente e cambiare l’organizzazione del documento.
Anche un a capo finale produce una riga logica finale. I tre contatori dell’operazione descrivono le righe prima e dopo secondo queste regole. Il numero dei paragrafi nel contatore generale segue invece il criterio dei blocchi separati da righe vuote.
Liste, CSV e dati da trattare con cautela
Puoi importare un TXT e lavorare sulle righe estratte. Per un CSV semplice, una riga può corrispondere a un record, ma non è sempre così: un campo tra virgolette può contenere un a capo. Questo strumento non è un parser CSV e non confronta record strutturati.
Non usarlo per stabilire se due persone, due indirizzi o due record siano la stessa entità. Confronta stringhe secondo opzioni esplicite, non significati o chiavi di database. Se l’identità dipende da una colonna, prepara prima una procedura adatta a quel formato.
Un PDF a colonne può produrre righe in un ordine non corretto. Prima di rimuovere duplicati, verifica l’estrazione e il significato delle separazioni. Una lista più corta non dimostra che i dati siano diventati più corretti.
Verificare il risultato prima di sostituire la lista di lavoro
Prova prima poche righe che rappresentino i casi attesi: una ripetizione identica, una differenza di caso, uno spazio ai bordi e una riga vuota. Confronta il risultato con le opzioni scelte. Poi applica lo stesso criterio al contenuto completo.
Controlla sia il numero delle righe eliminate sia alcune voci conservate. Copia il risultato o scaricalo come TXT soltanto quando hai verificato che l’ordine della prima occorrenza sia quello desiderato. Se hai scelto un criterio troppo ampio, usa Annulla e ripeti con opzioni più restrittive.
Per cambiare la grafia delle voci usa separatamente il convertitore maiuscole e minuscole. Rendere visibili i singoli passaggi evita di attribuire a una sola operazione cambiamenti che hanno cause diverse.
Fonti e metodo
- Unicode Standard Annex #29Segmentazione di grafemi e parole: unità distinte dai byte.
- RFC 4180: CSVUn campo CSV tra virgolette può contenere a capo, quindi riga testuale e record non coincidono sempre.
Le regole applicate ai risultati sono documentate in Come contiamo. Le stime sono esplicite e modificabili; i formati complessi richiedono un controllo dell’estrazione.