Как сравнить разницу в двух текстовых документах и вывести разницу в новый текстовый документ?

Question

[Павел]

Делаю я операции с картинками, jpg , мониторю папку где лежат картинки , добавляю пути и названия всех файлов в log.txt и уже дальше спокойно обрабатываю
но папку с картинками часто невольно засирает да и старые картинки по необходимости остаются ,
собственно вопрос: как добавить в log.txt только те картинки которых небыло ранее?

Как я это вижу:
делаем 2 лог файла, log.txt и newlog.txt
log.txt - все что было записано ранее
в newlog.txt добавляется все что есть в папке на данный момент, затем сравнивается с log.txt , всю разницу записывает в result.txt

такое возможно? Как это сделать подскажите?

p.s. вот такое содержимое log.txt

spoiler

c:\Program Files\Windows Sidebar\Gadgets\PicturePuzzle.Gadget\Images\setting_back.png
c:\Program Files\Windows Sidebar\Gadgets\PicturePuzzle.Gadget\Images\shuffle_down.png
c:\Program Files\Windows Sidebar\Gadgets\PicturePuzzle.Gadget\Images\shuffle_over.png
c:\Program Files\Windows Sidebar\Gadgets\PicturePuzzle.Gadget\Images\shuffle_up.png
c:\Program Files\Windows Sidebar\Gadgets\PicturePuzzle.Gadget\Images\tile16.png
c:\Program Files\Windows Sidebar\Gadgets\PicturePuzzle.Gadget\Images\tile_bezel.png
c:\Program Files\Windows Sidebar\Gadgets\PicturePuzzle.Gadget\Images\tile_drop_shadow.png
c:\Program Files\Windows Sidebar\Gadgets\PicturePuzzle.Gadget\Images\timer_down.png
c:\Program Files\Windows Sidebar\Gadgets\PicturePuzzle.Gadget\Images\timer_over.png
c:\Program Files\Windows Sidebar\Gadgets\PicturePuzzle.Gadget\Images\timer_up.png
c:\Program Files\Windows Sidebar\Gadgets\RSSFeeds.Gadget\drag.png
c:\Program Files\Windows Sidebar\Gadgets\RSSFeeds.Gadget\icon.png
c:\Program Files\Windows Sidebar\Gadgets\RSSFeeds.Gadget\images\buttonDown_Off.png
c:\Program Files\Windows Sidebar\Gadgets\RSSFeeds.Gadget\images\buttonDown_On.png
c:\Program Files\Windows Sidebar\Gadgets\RSSFeeds.Gadget\images\buttonUp_Off.png
c:\Program Files\Windows Sidebar\Gadgets\RSSFeeds.Gadget\images\buttonUp_On.png
c:\Program Files\Windows Sidebar\Gadgets\RSSFeeds.Gadget\images\flyoutBack.png

Comments

[hint000]

Уже обработанным файлам сбрасывайте атрибут archive (это там же, где "скрытый" и "системный"), командой attrib. Выбирайте для обработки только те, у которых этот атрибут стоит (а он стоит по-умолчанию после создания или редактирования файла).

Answer 1

[res2001]

Просто проверяйте есть ли текущий файл в логе, если нет добавляйте.
Как-то так:

for %%a in (c:\test\*.jpg) do (
  findstr /c:"%%~fa" log.txt || echo.%%~fa>log.txt
)

Если log.txt обещает вырастать до БОЛЬШИХ размеров, это может заметно снизить производительность и такой способ мало пригоден. Если log.txt не будет сильно расти, то вполне пойдет.
В случае большого количества файлов нужен другой вариант. Могу предложить такой: все новые файлы просто переносим в другой каталог. Т.е. в рабочем каталоге не будет старых файлов. В этом случае можно ничего не проверять - появился файл, добавили в лог и перенесли его. При этом в лог можно писать уже новый путь к файлу, что бы обработчик лога нормально находил файлы.

Comments

[Павел]

попробую описать общую задумку , вместо конкретных малых шагов для общей картины , может подскажите как лучше сделать
Есть у меня папки с картинками которые наполняют пользователи на разных ПК , пользователи как правило не заморачиваються чистить папки , поэтому там каша. С папок я настроил авто выгрузку на FTP, но там должен быть порядок , чтоб не выкачивать каждый раз все картинки , надо выкачивать только новые
я выкачивал картинки по log файлу , так почему то работает быстрее , сам лог файл например я могу удалять каждый месяц по расписанию чтоб он не был слишком большим , но там максимум 10мб будет

возможно я зашел совсем не в ту сторону, что скажете?
Все файлы я отправляю на FTP программой winscp (у нее есть режим для работы из командной строки) , ну и скажу на всякий что это все делается не на весь монитор с черным пугающим CMD окном , а в фоновом режиме , я использую вот такую штуку для этого

spoiler

Set WshShell = CreateObject("WScript.Shell")
WshShell.Run chr(34) & "%ProgramFiles%\script\new.bat" & Chr(34), 0
Set WshShell = Nothing

[res2001]

Павел, 10Мб - это вполне нормальный размер. Большой - это 1 Гб или около того, т.е. когда уже findstr на этом файле начнет тормозить.
Если вы будете удалять лог по расписанию, то вместе с логом нужно удалять и обработанные файлы иначе они начнут повторно заливаться. А если лог не чистить, то рано или поздно процесс начнет тормозить, т.к. размер лога станет слишком большим.
Если файлы в папках больше не нужны после обработки, то лучше их удалять (переносить в другой каталог).

Пока писал, придумал еще вариант. Если при записи файлов в каталог у них дата изменения файла изменяется на текущую, то можно просто брать файлы по дате с помощью обратной сортировки в dir или что-нибудь намутить с forfiles. Тогда надо будет, наверное, сохранять дату/время изменения последнего обработанного файла, чтоб при следующем запуске отсекать по ней уже обработанные файлы.
По моему вариант с dir/forfiles более оптимален, чем с лог файлом.
Но файлы в каталоге все равно нужно чистить время от времени, т.к. если оставить это бесконтрольно, то юзера засрут каталог в конце концов :-)

Еще как вариант, прикрутить какую-нибудь утилиту для синхронизации файлов. Названия не подскажу, но они точно есть.

PS: почему FTP? На мой взгляд FTP сейчас - это уже пережиток прошлого.
На сколько понимаю все происходит в локалке. Почему просто не расшаренная папка на сервере?
Но это не принципиально.

[Павел]

res2001, чистить папку нельзя , так как там лежат исходники из которых выходят новые файлы, только сам юзер должен решать удалить файл или нет.
Почему локалка? Ну несколько юзеров да , в локалке, но большинство через интернетЫ )
вариант с датами хорош , я могу настроить запуск bat файла раз в сутки в 12:00 к примеру или разово при включении ПК , чаще всего все комп включают раз в день , значит дата на файлах будет как минимум за 1 день назад , выгружаем только файлы с новыми датами

ну лишний софт не особо горю ставить так как это все дело работает в фоновом режиме и люди не жалуются, + можно допилить функционал как сейчас необходимость вышла , а может далее добавлю еще и видео файлы или еще что придумать надо будет...

сейчас файлов от 1000 до 6000 у каждого пользователя , это обьем больше чем за год , а 25000 строк по тестам примерно 2,5 мегабайта , так что это очень хороший вариант )

вообщем задача остается одна: выгрузить на FTP новые картинки :)

[wisgest]

Все файлы я отправляю на FTP программой winscp

Павел, это не поможет: winscp.net/eng/docs/scriptcommand_synchronize ?

[Павел]

wisgest, я так раньше делал , но пользователи удаляют, а затем создают файлы с такими же именами
и еще какая то проблема была... не вспомню уже , создал это все дело больше двух лет назад
но спасибо за помощь , альтернативное решение всегда приветствую!

Answer 2

[wisgest]

По первоначальному вопросу см. Как вычесть один фаил из другого?

Answer 3

[сергей кузьмин]

windiff (MS):

Usage:

	windiff [options] path1 [path2]

Options:

-D	Compare one directory only.
-F[flags] savefile	Save composite file to 'savefile'.  
The 'flags' may consist of one or more of I (identical), L (left), R (right), F (moved leFt), 
G (moved riGht), S (Similar left), A (similiAr right), X (exit after saving list).
(e.g. -FLF saves list of Left or moved-leFt lines).

типа
WinDiff.Exe /FRLIX diff.txt a.txt b.txt
получите diff.txt

F флаги у вас могут быть нужны другие...