Как удалить повторающиеся слова до разделителя?

Question

[Владимир]

Есть большой файл текста который разделен | - нужно от | до символа | удалить дубли слов. Так как эти слова могут повторяться во всем текста, а мне нужно только чтобы не было дубликатов слов от | до |
Либо массово 1000 текстовых файлов удалить дубликаты слов.
Как и чем это можно сделать? Поподробнее пожалуйста.

Comments

[Евгений Хлебников]

почистить от дублей каждый файл? почистить от дублей общую базу слов в тысяче файлов?

Answer 1

[Евгений Хлебников]

powershell
коммандлеты(что вспомнилось на скорую руку) :
$v=Get-Content имяфайла -rawзапихивает в переменную всё содержимое файла в виде строки
или

$v="";get-childitem D:\textfiles\ -file | Foreach {$v+=(Get-Content $_.fullname -raw)}

запихивает в виде строки в $v содержимое всех файлов, лежащих в d:\textfiles
$b=$v -split " "
разделяет строку $v на массив элементов, разделенных пробелами (слова)
$c=($b | sort -unique)
выводит только уникальные(не повторяющиеся) значения массива слов в массив $c
$c | Out-File d:\textfiles\final.txt
выводит в текстовый файл построчно все слова массива $c (избавленного от дубликатов)