Как убрать дубликаты строк из файла в VS Code

Рассмотрим несколько способов убрать дубликаты строк из файла используя редактор кода VS Code.

Начиная с версии VS Code 1.62, разработчики добавили встроенную функцию для удаления дубликатов строк из файла. Для того чтобы воспользоваться этой командой, выполните следующие действия:

• Открыть фаил с дубликатами строк
• Нажать Ctrl + A чтобы выделить содержимое файла
• Нажать Ctrl + P, затем ввести >
• Начать ввод текста "Delete Duplicate Lines"
• Подтвердить команду из списка

Эта команда не привязана к клавишам по-умолчанию, но вы можете задать свою комбинацию используя путь команды:

editor.action.removeDuplicateLines

Несколько расширений для VS Code которые позволяют убрать дубликаты строк (оставить только уникальные строки):

1. Unique Lines

• Установить расширение
• Открыть фаил с дубликатами строк
• Нажать Ctrl + A чтобы выделить содержимое файла
• Нажать Ctrl + P, затем ввести >
• Начать ввод текста "unique"
• Подтвердить команду из списка "Unique Lines - Keep unique lines from selection"

2. DupChecker

• Используйте шаги выше но введите текст "Check Duplicates"

Еще одно решение - это применение регулярных выражений. В данном способе есть один недостаток, который не подходит для работы с большими файлами: придется нажимать кнопку "замена" некоторое количество раз, пока все дубликаты не будут последовательно удалены.

• Нажать Ctrl + F
• Раскрыть режим замены >
• В верхнюю строку вставить ((^[^\S$]*?(?=\S)(?:.*)+$)[\S\s]*?)^\2$(?:\n)?
• В нижнюю строку вставить $1
• Нажать на кнопку "Заменить"

Альтернативный вариант:

• В верхнюю строку вставить ^(.+)((?:\r?\n.*)*)(?:\r?\n\1)$
• В нижнюю строку вставить $1$2