@TRXXX

Парсинг сайтов, как сделать проще?

Здравствуйте!
Есть личная необходимость получать каждый день информацию с сайтов находящихся на одном домене. Информация на них общедоступная, нет капчи, нет регистрации.
Что требуется: пройти в одном цикле 30+ ссылок однотипных (поменять в них некоторое значение в цикле или просто ввести список), зайти на сайт, скопировать страницу, сохранить и дописать в html к предыдущей сохраненной из цикла. Т.е. по окончании цикла будет одна страница html со всех 30 ссылок. Далее в ручном режиме посмотрю нужную мне информацию.
Я ранее писал на Delphi, могу вспомнить, но на это требуется время.
Может кто-то сможет предложить какое-то решение? Программы которые есть в поиске по парсингу, делают несколько не то, что хотелось бы, либо сохраняют в базу, либо отдельные файлы, либо что-то еще. Отдельные 30 файлов не нужны, т.к. можно просто в строке браузера менять несколько символов, но это отнимает много времени.
Если у кого-то есть решение (рекомендация программы или скрипт, или исходники на Delphi), операционная система не имеет значения (Windows, Linux), буду признателен.
  • Вопрос задан
  • 108 просмотров
Пригласить эксперта
Ответы на вопрос 1
leha_gorbunov
@leha_gorbunov
Программист
В Linux создаешь файл с расширением .sh
Пишешь туда 30 строчек кода
wget --quiet -O - http://example.com/link1 >> output.txt

где output.txt выходной файл.
И запускаешь в терминале
bash scriptfile.sh
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы