Как автоматизировать получение URL файла, который браузер скачивает при задании моего URL?

Question

[DWZ]

Есть броузер FireFox (или Chrome). Я скармливаю ему некий URL, назовём его URL1. В результате в браузере работает куча скриптов и в конце концов этот браузер начинает скачивать некий файл с URLом URL2.

Требуется система под Windows 7, которой я бы передал URL1 через командную строку (или список URL'ов в текстовом файле), а в ответ получил бы URL2 (или их список), а ещё лучше - для каждого URL2 выполняла бы командную строку по заданному мной шаблону.

По-рабоче-крестьянски задача решается так:
1. Открываем в браузере по F12 окошко, переходим на закладку "Сеть"
2. Вводим в строку поиска, что надо
3. Вводим в адресную строку браузера URL1
4. Копируем URL2 из окошка см. п. 1.

Проблема в том, что URL'ов слишком много. Погуглил про безголовый браузер - так там то на Питоне надо программировать, то API для C++.

Разбираться со скриптами на сайте - слишком сложно для меня. Пробовал прокси - там https.

Нет ли чего юзабельного под данную задачу? Или какие plug-in'ы к означенным браузерам?

Comments

[Refguser]

гуглить "автоматизация работы в браузере". Есть и аддоны к браузерам и десктопное ПО. Но требует определённых знаний и способностей.
Иначе - заказать у фрилансеров список URL2.

Answer 1

[Алексей Уколов]

Если вам URL2 приходится выуживать из DevTools, значит, это побочный результат работы страницы и каким-то простым инструментом вы его не сможете получить.
Нужно понять, какие именно шаги приводят на странице с URL1 к генерации запроса на URL2 (т.е. какие необходимы предварительные действия и как строится URL2) и уже потом пытаться их воспроизводить автоматически. Но без программирования в каком-либо виде тут не обойтись.

Answer 2

[rPman]

Для не программистов (или с минимальными знаниями) есть инструмент autoit, вместе с ним 7 лет назад шла мегаутилита au3record которая преобразовывала движения пользователя в программу, потом ее удалили из-за того что антивирусы считают эту программу вирусом

смысл в том что полученную программу на auto script можно отредактировать, удалить лишние движения и добавить пару строк цикла чтобы зациклить действия или тупо вручную продублировать, вставив один и тот же код несколько раз.

затем подготовить исходные данные (например список url) в каком-нибудь редакторе (например блокнот) и первыми действиями удалять первую строку в буфер (ctrl+x) и вставлять ее в браузер, в программе тогда достаточно будет вручную указать количество повторений цикла равное количеству строк.

интервалы времени между повторениями взять с запасом