Удаление дублирующихся строк

Обновлено: 3 октября, 2026

Удаляет повторяющиеся строки из списка, сохраняя первое вхождение каждой строки. Вставьте свой список в поле «Текстовый ввод», чтобы получить сокращённый результат без дубликатов.

Инструмент удаления повторяющихся строк из текста

Формула удаления дублирующихся строк

Формула

\[ U = \operatorname{firstDistinct}\!\left(\left[\operatorname{trim}(s)\mid s\in\operatorname{lines}(X),\ \operatorname{trim}(s)\ne\varnothing\right]\right) \]

Где:

\(X\) — текст, введённый в поле «Текстовый ввод».
\(s\) — отдельная строка ввода.
\(\operatorname{trim}(s)\) — строка после удаления начальных и конечных пробелов.
\(U\) — непустые уникальные строки в порядке их первого появления.

Инструмент разбивает ввод на строки, удаляет пробелы по краям каждой строки, пропускает пустые строки и оставляет только первое вхождение каждой оставшейся строки. Результат не сортируется.

Удаление дублирующихся строк — пример расчёта

Пример: введите список по умолчанию: Apple, Banana, Apple, Orange и Banana, по одному элементу в каждой строке.

\[ [\text{Apple},\ \text{Banana},\ \text{Apple},\ \text{Orange},\ \text{Banana}] \longrightarrow [\text{Apple},\ \text{Banana},\ \text{Orange}] \]

Результат: в поле «Уникальные строки» содержатся 3 строки: Apple, Banana и Orange — именно в этом порядке. Вторая Apple и вторая Banana удалены.

Как пользоваться инструментом удаления дублирующихся строк

Вставьте или введите свой список в поле «Текстовый ввод», размещая каждый элемент на отдельной строке. Изначально поле содержит пример из пяти строк, который можно заменить.
Проверьте результат в поле «Уникальные строки». Каждый сохранённый элемент отображается отдельно, в том же порядке, в котором он впервые встретился во вводе.
Используйте кнопку копирования результата, если очищенный список нужен в другом месте. После вставки проверьте переносы строк в целевом приложении, особенно если вы переносите данные в электронную таблицу или другой редактор.

Вам не нужно самостоятельно считать или отмечать дубликаты. Чтобы проверить, как инструмент обрабатывает ваши данные, попробуйте ввести один и тот же элемент дважды, добавив пробелы в начало или конец одной из строк, а затем сравните результат.

Что считается дублирующейся строкой?

Дубликат — это строка, текст которой совпадает с более ранней строкой после удаления пробелов с обоих концов. Например, строка Apple и более поздняя строка Apple становятся одним элементом. Сохраняется только первое вхождение. Строки, состоящие только из пробелов, полностью пропускаются, поэтому результат может содержать меньше строк, даже если ни один непустой элемент не повторяется.

Сравнение учитывает регистр. Apple, apple и APPLE — это три разные строки, и все они останутся. Пробелы или знаки препинания внутри строки тоже важны: New York не совпадает с New York. Инструмент не исправляет орфографию, не стандартизирует форматирование и не решает, означают ли две по-разному записанные записи одно и то же.

Результат сохраняет порядок первого появления. Если имя встречается на строках два и десять, его позиция в выводе определяется строкой два. Это полезно, когда исходная последовательность передаёт приоритет или контекст, например в вручную отсортированном списке. Если после этого нужен алфавитный порядок, воспользуйтесь инструментом сортировки списка по алфавиту. Для записей с разным регистром конвертер регистра поможет стандартизировать текст перед удалением дубликатов.

Практические советы и ограничения

Используйте одну запись на строку. Предложение с разделителями-запятыми остаётся одной строкой; инструмент не разбивает его на отдельные записи. Если элементы сначала нужно разделить, попробуйте инструмент разделения текста.
Ожидайте точное совпадение текста после обрезки пробелов. В списке адресов Alex@example.com и alex@example.com останутся отдельными, так как различаются регистром. Проверьте желаемый регистр, прежде чем считать вывод окончательным списком уникальных людей.
Внимательно проверяйте структурированные данные. Строка CSV обрабатывается как единое целое, а не как разобранные столбцы. Две строки с разными пробелами или знаками препинания могут остаться раздельными, и инструмент не может определить дубликаты только по одному столбцу.
Пустые строки не сохраняются. Не используйте вывод, если пустые строки служат значимыми разделителями между группами.

Для финальной проверки сравните очищенный результат с исходным списком перед удалением источника, особенно если небольшие различия в регистре, внутренних пробелах или знаках препинания могут быть значимыми. Чтобы оценить, сколько текста осталось после очистки, вставьте результат в счётчик символов.

Часто задаваемые вопросы

Как удалить дублирующиеся строки вручную?

Прочитайте список сверху вниз и ведите отдельный учёт строк, которые уже встречались. Для каждой новой строки удалите пробелы в начале и конце, а затем сравните её с этим списком. Запишите её, только если она не встречалась ранее. Это сохраняет исходный порядок, но для длинного списка электронная таблица или текстовый инструмент менее подвержены ошибкам.

Как посчитать, сколько дублирующихся строк было удалено?

Посчитайте непустые строки ввода после обрезки пробелов, затем вычтите количество строк в результате. Например, если 20 непустых строк превратились в 14 уникальных, было удалено шесть повторяющихся строк. Не включайте в это количество пустые строки или строки из одних пробелов: они отбрасываются, но не являются дубликатами элемента.

Почему две внешне одинаковые строки обе остаются?

Возможно, они содержат разные символы, которые выглядят одинаково. Частые причины: обычный пробел вместо неразрывного внутри текста, скрытый символ нулевой ширины или визуально похожие буквы из разных систем письма. Скопируйте обе строки в текстовый редактор, способный показывать невидимые символы, либо проверьте их кодовые точки Unicode. Обрезка пробелов по краям строк не нормализует символы внутри них.

Работает ли инструмент с переносами строк Windows и Mac?

Стандартные переносы строк Windows (CRLF) и переносы строк в стиле Unix (LF), которые также использует современный macOS, распознаются. Файлы со старым соглашением Mac — только возврат каретки (CR) — могут быть восприняты как одна строка. Если вставленный список не разделяется должным образом, преобразуйте его переносы строк в LF или CRLF в текстовом редакторе и попробуйте снова.

Можно ли удалить дубликаты по одному столбцу CSV-файла?

Не с помощью только этого инструмента: он сравнивает каждую строку целиком, а не отдельное поле. Например, две строки с одинаковым адресом электронной почты, но разными именами обе останутся. Откройте CSV в электронной таблице или инструменте обработки данных и выберите столбец, определяющий дубликат. Проверьте, какую строку сохраняет тот инструмент, особенно если в других столбцах содержатся нужные вам данные.

Как удалить дубликаты, не считая прописные и строчные буквы разными?

Стандартизируйте регистр перед сравнением строк, например преобразовав копию списка в нижний регистр. Учтите, что при этом изменится и регистр в результате. Если нужно сохранить исходное написание каждого первого вхождения, используйте электронную таблицу или скрипт, которые сравнивают копию каждой строки в нижнем регистре, но выводят исходную строку.