Removedor de Linhas Duplicadas
Remova linhas repetidas de uma lista mantendo a primeira ocorrência de cada linha. Cole sua lista na Entrada de Texto para obter um resultado limpo, sem duplicatas.
Ferramenta de Remoção de Linhas Repetidas de Texto
Fórmula do Removedor de Linhas Duplicadas
Onde:
- \(X\) — o texto digitado na Entrada de Texto.
- \(s\) — uma linha individual da entrada.
- \(\(\operatorname{trim}(s)\) — a linha após a remoção dos espaços em branco no início e no fim.
- \(U\) — as linhas não vazias e únicas, na ordem em que aparecem pela primeira vez.
A ferramenta divide a entrada em linhas, remove os espaços das extremidades de cada linha, ignora as linhas vazias e mantém apenas a primeira ocorrência de cada linha restante. Ela não ordena o resultado.
Removedor de Linhas Duplicadas – Exemplo de Cálculo
Exemplo: Digite a lista padrão: Apple, Banana, Apple, Orange e Banana, com um item em cada linha.
\[ [\text{Apple},\ \text{Banana},\ \text{Apple},\ \text{Orange},\ \text{Banana}] \longrightarrow [\text{Apple},\ \text{Banana},\ \text{Orange}] \]
Resultado: Linhas Únicas contém 3 linhas: Apple, Banana e Orange, nessa ordem. O segundo Apple e o segundo Banana são removidos.
Como usar o Removedor de Linhas Duplicadas
- Cole ou digite sua lista na Entrada de Texto, colocando cada item em sua própria linha. O campo contém inicialmente um exemplo de cinco linhas que você pode substituir.
- Verifique o resultado em Linhas Únicas. Cada item mantido aparece em uma linha separada, na mesma ordem de sua primeira aparição na entrada.
- Use o controle de copiar do resultado se precisar da lista limpa em outro lugar. Após colar, verifique as quebras de linha no aplicativo de destino, especialmente se você estiver movendo-a para uma planilha ou outro editor.
Você não precisa contar nem marcar as duplicatas por conta própria. Para testar como a ferramenta trata seus dados, experimente digitar o mesmo item duas vezes com espaços no início ou no final de uma das linhas e depois compare o resultado.
O que conta como linha duplicada?
Uma duplicata é uma linha cujo texto corresponde a uma linha anterior depois que os espaços em branco das duas extremidades são removidos. Por exemplo, uma linha contendo Apple e uma linha posterior contendo Apple se tornam o mesmo item. Apenas a primeira ocorrência é mantida. Linhas que contêm apenas espaços em branco são omitidas por completo, de modo que o resultado pode conter menos linhas mesmo quando nenhum item não vazio é repetido.
A comparação diferencia maiúsculas de minúsculas. Apple, apple e APPLE são três linhas diferentes e todas serão mantidas. Espaços ou sinais de pontuação dentro de uma linha também importam: New York não corresponde a New York. A ferramenta não corrige grafia, não padroniza a formatação nem decide se duas entradas escritas de forma diferente significam a mesma coisa.
O resultado preserva a ordem da primeira aparição. Se um nome aparece nas linhas dois e dez, sua posição na saída é determinada pela linha dois. Isso é útil quando a sequência original transmite prioridade ou contexto, como em uma lista ordenada manualmente. Se você quiser a ordem alfabética depois, use o Ordenador Alfabético de Listas. Para entradas com maiúsculas e minúsculas diferentes, um Conversor de Maiúsculas e Minúsculas pode ajudar a padronizar o texto antes de remover as duplicatas.
Dicas práticas e limitações
- Use um registro por linha. Uma lista separada por vírgulas continua sendo uma linha só; a ferramenta não a divide em entradas individuais. Se seus itens precisarem ser separados primeiro, experimente o Separador de Texto.
- Espere correspondência de texto exato após a remoção dos espaços. Para uma lista de endereços,
Alex@example.comealex@example.compermanecem separados porque as maiúsculas diferem. Revise a capitalização desejada antes de tratar a saída como uma lista definitiva de pessoas distintas. - Verifique os dados estruturados com cuidado. Uma linha de CSV é tratada como uma linha inteira, e não como colunas separadas. Duas linhas com espaçamento ou pontuação diferentes podem permanecer separadas, e a ferramenta não consegue identificar duplicatas com base em apenas uma coluna.
- Linhas vazias não são preservadas. Não use a saída quando linhas vazias servem como separadores significativos entre grupos.
Para uma verificação final, compare o resultado limpo com sua lista original antes de excluir a fonte, especialmente quando pequenas diferenças de maiúsculas, espaçamento interno ou pontuação possam ser significativas. Para medir quanto texto resta após a limpeza, cole o resultado no Contador de Caracteres.
Perguntas frequentes
Como posso remover linhas duplicadas manualmente?
Leia a lista de cima a baixo e mantenha um registro separado das linhas que você já viu. Para cada nova linha, remova os espaços do início e do fim e compare-a com esse registro. Anote-a apenas se ela não tiver aparecido antes. Isso preserva a ordem original, mas uma planilha ou uma ferramenta de texto é menos propensa a erros no caso de uma lista longa.
Como conto quantas linhas duplicadas foram removidas?
Conte as linhas de entrada não vazias após remover os espaços e subtraia desse total o número de linhas do resultado. Por exemplo, se 20 linhas não vazias se tornam 14 linhas únicas, seis linhas repetidas foram removidas. Não inclua linhas de entrada vazias ou apenas com espaços nessa contagem de duplicatas: essas linhas são descartadas, mas não são duplicatas de um item.
Por que duas linhas que parecem idênticas permanecem as duas?
Elas podem conter caracteres diferentes que parecem iguais. Causas comuns incluem um espaço comum versus um espaço inseparável dentro do texto, um caractere oculto de largura zero ou letras visualmente semelhantes de sistemas de escrita diferentes. Copie as duas linhas para um editor de texto que revele caracteres invisíveis ou inspecione seus pontos de código Unicode. A remoção dos espaços nas extremidades das linhas não normaliza os caracteres dentro delas.
Funciona com quebras de linha do Windows e do Mac?
As quebras de linha padrão do Windows (CRLF) e as quebras de linha estilo Unix (LF), também usadas pelo macOS moderno, são reconhecidas. Arquivos que usam a convenção antiga do Mac, apenas com retornos de carro (CR), podem ser tratados como uma única linha. Se uma lista colada não se separar como esperado, converta as quebras de linha para LF ou CRLF em um editor de texto e tente novamente.
Posso remover duplicatas com base em uma coluna de um arquivo CSV?
Não com esta ferramenta sozinha: ela compara cada linha completa em vez de selecionar um campo. Por exemplo, duas linhas com o mesmo endereço de e-mail, mas com nomes diferentes, permanecerão as duas. Abra o CSV em uma planilha ou ferramenta de dados e escolha a coluna que define uma duplicata. Verifique qual linha essa ferramenta mantém, especialmente se outras colunas contêm informações de que você precisa.
Como posso remover duplicatas sem diferenciar maiúsculas de minúsculas?
Padronize a capitalização antes de comparar as linhas, por exemplo, convertendo uma cópia da lista para minúsculas. Esteja ciente de que isso também altera a capitalização no resultado. Se você precisar manter a grafia original de cada primeira ocorrência, use uma planilha ou um script que compare uma cópia em minúsculas de cada linha, mas exiba a linha original.