Как скачать все pdf с сайта https://www.hifiengine.com?

Question

[marat108]

На сайте https://www.hifiengine.com собраны каталоги аудио- и видео аппаратуры начиная с 70-х - 80-х. Можно скачать pdf файлы, но для людей с запада. Нас блокируют даже если через VPN подключаешься. Можно с помощью SoftEther VPN (VPN Gate Public Relay Servers) зарегистрировавшись получить экаунт. НО СКАЧИВАТЬ НЕ БОЛЕЕ 5 каталогов pdf. И очень следят за IP адресом, с которого подключаешься. Сайт большой по объёму, www.cyotek.com/cyotek-webcopy скачивает сайт, долго, медленно и не понятно стянет ли pdf-ки.

вот примеры ссылок
https://www.hifiengine.com/hfe_downloads/index.php...
https://www.hifiengine.com/hfe_downloads/index.php...

Как, махом скачать все pdf ? Какой программой? Спасибо

Тотально он, сайт не блокирует. Можно просматривать сайт. Так, что зачем советовать Тор браузер, не понятно.

Comments

[Vadim Priluzkiy]

torproxy вам советуют по той просто причине, что каждые десять минут(по умолчанию) ваш адрес меняется.

Answer 1

[Роман prV]

Попробуй программу Extrime Picture Finder. И сетевое соединение через ТОR.

Answer 2

[Дмитрий Свиридов]

Можно попробовать через torproxy - думаю, прокатит. https://hub.docker.com/r/dperson/torproxy/

Comments

[MikeKle]

Потребуются хорошие прокси скорее всего платные, скрапер и программист. На upwork бюджет от 20 до 100$, на наших биржах наверное можно дешевле.

[Vadim Priluzkiy]

MikeKle, Как мне кажется, если время не важно, можно и без прокси обойтись. Если рандомные таймауты между запросами делать, подкинуть curl-у куки пользователя и юзерагент от нормального браузера, то... Но да. За так, я, например, скрипт-бы не стал писать, хотя он и не сильно сложный. ;-)

[Дмитрий Свиридов]

MikeKle, так и чем тор-прокси, которые я предложил, не угодили?

[marat108]

Дмитрий Свиридов, да они угодили. А какой программой сами файлы то скачивать? А так за тор спасибо, конечно.

[MikeKle]

Дмитрий Свиридов, очень медленные, плюс они должны быть скорее всего с гео привязкой к США, и например Фейсбук блочит и каптчит Тор тока так, этот сайт возможно ещё хуже судя по описанию.

[Дмитрий Свиридов]

marat108, php - Guzzle, python - Requests

[marat108]

-----
А Тор не смог загрузить страницы сайта. Вот вам и Тор. Скрин выше

[Дмитрий Свиридов]

marat108, при чем тут Tor-браузер? Делаете http-запросы к сайту с помощью Guzzle (php) или Requests (python), указав в качестве прокси хост и порт запущенного docker-контейнера tor-proxy. Выдираете из html ссылки на pdf и точно по такому же принципу скачиваете файлы. Реализовать только надо логику обхода всех страниц.

[marat108]

Дмитрий Свиридов, Дим, я не программист. Аппатиты и навоз для меня всё едино. Guzzle & Requests пойму, только начинать надо будет с 0. Спасибо, конечно