Как автоматически скачать картинки с сайта?

Question

[Илья Бражников]

Добрый день.
Хочу выкачать себе на ноутбук обои на рабочий стол с сайта https://wallpaperscraft.com. Попробовал в виртуозке с линуксом (на маке wget скомпилирована без поддержки https) запустить wget.exe -r -l10 -k -p -E -nc https://wallpaperscraft.com. Качает, но в папке images сохраняются только превьюшки, которые лежат в каталоге images каждой страницы. Вот содержимое каталога

Я так понимаю, что сайт защищен от автоматического скачивания. Подскажите пожалуйста, как можно автоматически выкачать картинки, а не превьюшки.
Заранее благодарю.

Answer 1

[Алексей Ярков]

Заметка о скачивании обоев с сайта wallpaperscraft.com
Ссылка на репозиторий присутствует ))

Comments

[Илья Бражников]

Алексей, спасибо. Но я не программист и не могу понять, почему не работает. Помогите пожалуйста, если можете. Смотрите что он пишет:
ilya@ubuntu-linux:~/pygetwallpapers$ ./grabber.py > urls.txt
Traceback (most recent call last):
File "./grabber.py", line 4, in
from grab.spider import Spider, Task
ImportError: No module named grab.spider
А вообще в самом начале были проблемы, при попытке выполнить команду git clone https://[e-mail]/yarkovaleksei/...
я получил такой ответ:
Cloning into 'pygetwallpapers'...
fatal: unable to access 'https://[e-mail]/yarkovaleksei/...': server certificate verification failed. CAfile: /etc/ssl/certs/ca-certificates.crt CRLfile: none
Но нашел способ скачать файлы с сайта atlassian. Может я что-то сделал не так?

[Илья Бражников]

Может я не все скачал из репозитория?
Вот содержимое каталога pygetwallpapers:
ilya@ubuntu-linux:~/pygetwallpapers$ ls -a
. .. .git .gitignore grabber.py README.md urls.txt

[Алексей Ярков]

Илья Бражников: Вам сначала надо установить grab (читайте внимательнее README.md)

$ pip install pycurl lxml
$ pip install grab
# А теперь можно выполнить
$ ./grabber.py > urls.txt

[Илья Бражников]

Алексей Ярков: видимо не установился:
----------------------------------------
Cleaning up...
Command python setup.py egg_info failed with error code 1 in /tmp/pip-build-hljLwc/pycurl
Storing debug log for failure in /home/ilya/.pip/pip.log
Буду пробовать на других версиях линукса.

[Алексей Ярков]

Илья Бражников: у меня были траблы. Попробуйте так:

$ sudo apt-get install libxml2-dev libxslt-dev
$ pip install pycurl lxml
$ pip install grab

[Илья Бражников]

Алексей Ярков: ilya@ubuntu-linux:~$ sudo apt-get install libxml2-dev libxslt-dev
[sudo] password for ilya:
Reading package lists... Done
Building dependency tree
Reading state information... Done
Note, selecting 'libxslt1-dev' instead of 'libxslt-dev'
libxslt1-dev is already the newest version.
libxml2-dev is already the newest version.
0 upgraded, 0 newly installed, 0 to remove and 3 not upgraded.
ilya@ubuntu-linux:~$ pip install pycurl lxml
Downloading/unpacking pycurl
Downloading pycurl-7.43.0.tar.gz (182kB): 182kB downloaded
Running setup.py (path:/tmp/pip-build-r1jk4A/pycurl/setup.py) egg_info for package pycurl
Traceback (most recent call last):
File "", line 17, in
File "/tmp/pip-build-r1jk4A/pycurl/setup.py", line 823, in
ext = get_extension(sys.argv, split_extension_source=split_extension_source)
File "/tmp/pip-build-r1jk4A/pycurl/setup.py", line 497, in get_extension
ext_config = ExtensionConfiguration(argv)
File "/tmp/pip-build-r1jk4A/pycurl/setup.py", line 71, in __init__
self.configure()
File "/tmp/pip-build-r1jk4A/pycurl/setup.py", line 107, in configure_unix
raise ConfigurationError(msg)
__main__.ConfigurationError: Could not run curl-config: [Errno 2] No such file or directory
Complete output from command python setup.py egg_info:
Traceback (most recent call last):

File "", line 17, in

File "/tmp/pip-build-r1jk4A/pycurl/setup.py", line 823, in

ext = get_extension(sys.argv, split_extension_source=split_extension_source)

File "/tmp/pip-build-r1jk4A/pycurl/setup.py", line 497, in get_extension

ext_config = ExtensionConfiguration(argv)

File "/tmp/pip-build-r1jk4A/pycurl/setup.py", line 71, in __init__

self.configure()

File "/tmp/pip-build-r1jk4A/pycurl/setup.py", line 107, in configure_unix

raise ConfigurationError(msg)

__main__.ConfigurationError: Could not run curl-config: [Errno 2] No such file or directory

----------------------------------------
Cleaning up...
Command python setup.py egg_info failed with error code 1 in /tmp/pip-build-r1jk4A/pycurl
Storing debug log for failure in /home/ilya/.pip/pip.log
ilya@ubuntu-linux:~$

[Алексей Ярков]

Илья Бражников: Версия python какая?

[Илья Бражников]

Алексей Ярков: Python 2.7.10

[Алексей Ярков]

Илья Бражников: у меня 2.7.6. Не знаю чем вам помочь. Попробуйте от sudo запустить pip install pycurl lxml

[Илья Бражников]

Алексей Ярков: Проковырявшись в интернете на тему ошибок, которые у меня выскакивали, я нашел корень проблемы: отсутствующие пакеты libcurl4-gnutls-dev и python-dev. Теперь все установилось и работает как надо. Спасибо.

[Алексей Ярков]

Илья Бражников: Рад, что смог быть полезен. Все работает как надо? Может что-то нужно исправить?

[Илья Бражников]

Алексей Ярков: да, было бы классно скачивать не по категориям, а все картинки с определенным разрешением. на сайте справа если выбрать определенный размер, выводятся страницы только с ним.

[Алексей Ярков]

Илья Бражников: ну так укажите имя категории 'all' и нужный размер и качайте наздоровье ))

[Илья Бражников]

Алексей Ярков: упс, а я и не заметил.

Answer 2

[Дмитрий]

так и не будет качать, т.к. изображения только 300х78 лежат.
чтобы выкачать все картинки их нужно предаврительно открыть.
необходимо для этого написать скрипт, который будет открывать картинку, потом открывать размер, и потом сохранять.
ну или вам нужен доступ к директории где они лежат. надо искать.

Comments

[Илья Бражников]

у всех картинок есть страница, на которой они присутствуют. wget ведь скачивает все страницы, почему он не качает большие картинки?

[АртемЪ]

Илья Бражников: В том то и дело, что у картинок никакой страницы нет.
Есть страница сайта с превью, она и выкачивается.
А картинку выводит скрипт расположенный на этой странице. Выполните скрипт - вытащите картинку.
Вы просто качаете, скрипты не запускаете, поэтому и картинку не получите.

Answer 3

[Dimonchik]

Вгет качает то, что ему скажут, выведи лог -o , посмотри что он на https пишет и вообще на файлы в папке https://wallpaperscraft.com/image/the_elder_scroll...

Comments

[Илья Бражников]

wget -o и адрес?

[Dimonchik]

это опция, такая же как -r -l10 -k -p -E -nc , лучше найди справку по опциям

Answer 4

[Сергей Колодзей]

Если тебе нужны все картинки, или одного определенного размера, а парсер ты написать не сможешь под задачу поставь прогу teleport pro. Только на всем известных запрещенных торрентах, о которых нельзя говорить, качай а то нахватаешься вирусов. Ну и как бы учти что там мильён тысяч картинок.

Comments

[Илья Бражников]

Спасибо за ответ. Но эта программа видимо не умеет работать с HTTPS. Ничего не качает.