Скачивание фотографий с Фото@mail.ru?

Question

[ComodoHacker]

Дано: несколько ссылок на альбомы на mail.ru

Требуется: получить в виде файлов фотографии из этих альбомов в максимально возможном разрешении. Чтобы показать их людям без интернета, напечатать, просто сохранить у себя и т.д. Желательно сохранить и названия фотографий, если есть; в идеале в EXIF, ну хотя бы в имени файла.


Есть ли готовые решения, автоматизирующие процесс?

Answer 1

[Дмитрий]

для FF использую дополнение downthemall. Оно позволяет закачать ссылки со страницы буквально за пару кликов.

Comments

[ComodoHacker]

Посмотрю, спасибо.

[ComodoHacker]

В результате сделал все с помощью DownThemAll! в полуавтоматическом режиме. Не идеал, но все же намного быстрее ручного клацанья.

Просмотрел еще штук пять расширений для Firefox, наиболее продвинутым оказался ImageHost Grabber. Список поддерживаемых хостингов весьма впечатляет, однако mail.ru среди них, к сожалению нет. Может появится в будущем.

[Дмитрий]

Рад что помог. DTA удобен тем, что поддерживает регэкспы. Исползуя их можно автоматизировать большую часть ручной работы.

Answer 2

[Kindman]

Можно попробовать установить на свой комп кэширующий прокси-сервер, например МуРгоху, и просто пооткрывать нужные фотки мышой в браузере.
Потом, просто, просмотреть что в кэше «завалялось» (отсортировав по размеру).

Comments

[Kindman]

Можно потом просмотрев http-заголовки запросов понять как сразу все загрузить на комп (не щелкая мышкой).
Даже если там нет прямых ссылок на скачивание отдельных фоток, а ссылки делаются через джава-скрипт, то все равно можно автоматизировать процесс сбора (например в Windows — использовать COM-автоматизацию Internet-Explorer чтобы заставить браузер через прокси открывать нужные страницы, опять же не щелкая мышью).

[ComodoHacker]

Вот хотелось бы как раз без «щелканья» :)

Answer 3

[danfe]

Возможно, проще и быстрее будет написать свое ad-hoc решение, тем более, что там все довольно прозрачно на первый взгляд (ссылки на фотографии вида content.foto.mail.ru/mail/пользователь/альбом/i-порядковый_номер.jpg), EXIF хранится внутри страницы в виде javascript-кода (искать «var exif_info»). Никаких особых условий типа проверки рефера или user-agent'а там нет, фотки выкачиваются обычным wget'ом.

Comments

[Kindman]

В таком случае задача сводится лишь к получению списка урлов всех фоток альбома по урлу альбома

[danfe]

Вроде список этот даже получать не надо: достаточно перебрать все числа от 1 до n, где n либо выкусить из страницы, либо положить достаточно большим и оставить скрипт на ночь, либо перебирать до первого 404 (или если вместо картинки стал отдаваться text/html).

[ComodoHacker]

Я уже тоже начинаю подумывать о том, чтобы написать что-то на коленке на python или bash/wget.

С номерами не так просто, встречаются, например, рядом номера 24 и 114. То есть угадать сложно, нужно ходить по всем страницам.

Что посоветуете для парсинга страницы?

[Kindman]

в рнр есть хорошая функция preg_match_all(), а, сами страницы можно вытаскивать через file_get_contents()

[danfe]

Для простых страничек (регулярок) я обычно прибегаю к plain shell/grep/sed/awk, в сложных случаях зову на помощь перл. По поводу разрыва в номерах, да, заметил. У меня есть подозрение, что это случается при удалении фотки из альбома (т.е. номер уже не освобождается). Но в любом случае, да, видимо придется-таки составлять список по сожержимому страницы альбома.

Answer 4

[sledopit]

набросал за 3 минутки на bash. до идеала, конечно пилить есть что, но вроде работает.
wget -qO - foto.mail.ru/АЛЬБОМ | grep -E "myspot|title.*[0-9]+\.html" | sed '/myspot/{s@.*\(http[^"]*jpg\).*@\1@;s@/p-@/i-@;};s@<[^>]*>@@g;s/ /_/g;s/http/`http/g;s/\t\t*/ /g;' | tr -d '\n' | tr '`' '\n' | sed 's/\([0-9]*\).jpg */\1.jpg \1-/;s/ / -qO "/;s/\([^"]\)$/\1.jpg"/;s/^/wget /;s/-.jpg/-noname.jpg;/;s/)//' | grep jpg
(эта штука только формирует список команд, там в конце через пайп bash или xargs прибавьте и оно начнет скачивать).