Сбор картинок перебором ссылок

Question

[entaure]

Возникла задача: путем перебора собрать с сайта аналогичного Vk или любого подобного собрать картинки путем перебора ссылки (насколько знаю сейчас там все картинки стали храниться просто в общем хранилище, меняется только Id в заголовке картинки.
Собственно вопрос: как должно это выглядеть и на чем подобный алгоритм реализуем? (особенно интересуют пункты 2 и 3

Я так понимаю там 3 этапа:

1) перейти на новую страницу сменив адрес на единицу (букву, цифру здесь не важно)
2) проверить что страница существует и содержит полезную информацию (здесь: картинку)
3) сохранить картинку на диск и повторить п.1 с новым адресом.

Comments

[entaure]

Ладно, со статистикой перебора понятно остался другой вопрос — как можно заставить программу определять есть ли картинко на странице или нет?

Answer 1

[Ocelot]

Полный перебор займет кучу времени. Пусть айдишник шестизначный цифровой (как на самом деле — вы не сказали), а на загрузку страницы уходит секунда. Тогда полный перебор диапазона займет 1000000 с = 11.5 суток. Как оптимизировать процесс:
1) На шаге 2 анализировать заголовок, прежде чем грузить всю страницу.
2) Выполнять запросы в несколько потоков (сколько именно — зависит от ширины канала)
3) Попытаться определить, по какому алгоритму картинкам выдаются айдишники. Если подряд — большой шанс, что старшие номера заведомо свободны.

Comments

[Ocelot]

А еще велик шанс, что где-то на первых 10% перебора IDS сайта (или админ) заметит подозрительную активность с вашего IP и забанит вас. Так что добавляется п.4: Ведите перебор с разных айпишников.

[VBart]

Тут недавно человек целую неделю долбил вконтакт нехилым таким потоком запросов, и они ничего не предприняли.

[entaure]

Вот и появилось желание после его поста собрать ещё кое-какую забавную статистику

[entaure]

Но самое печальное что картинки загруженные подряд (взял выборку из 10 штук) имеют совершенно с потолка взятые айдишники

[Ocelot]

Если вы планируете собрать статистику, а номера картинок распределены случайно, совсем не обязательно перебирать весь диапазон. Если соберете половину или даже пятую часть, будет вполне репрезентативная выборка.
Если не уверены, что совсем случайно — рандомизируйте запросы.

Answer 2

[Nikita Permin]

ВК? а как же random?)
адрес авки вк имеет такой урл

Comments

[Nikita Permin]

cs<server_id>.vkontakte.ru/u<user_id>/a_.jpg
и это только превьюшка. для полной — меняем букву a_ на другую (какую- точно не помню), и для квадратной мелкой 50x50 — буква e_

[Nikita Permin]

то есть между «a_» и ".jpg" куча рандомных символов. возможно — хеш картинки.

[Nikita Permin]

Всё зависит от сайта.

[entaure]

вопрос что тут выгоднее направленный перебор или великий Рандом… алгоритм формирования адреса картинки можно если угадаю вообще в отдельный пост на хабре вынести, только работы я боюсь немерено

[entaure]

NekitoSP разве хеш у большой и у её мелкой копии не будет разный *пардон за нубство*

[Nikita Permin]

гм… сейчас проверил — разные хеши…
cs10400.vkontakte.ru/u78101032/-5/m_bec36141.jpg
cs10400.vkontakte.ru/u78101032/-5/x_ea4a6d84.jpg
в любом случае вам придется сначала тогда пойти на страницу, пройти по ссылке «превьюшки» и только потом получите адрес на нормальную 100%-размерную картинку.
«алгоритм формирования адреса картинки» будь он md5(img_bytes).$salt — вы никогда не угадаете какая там соль, и все ли вообще байты подвергаются md5. а может там вообще пару рандомов?) ИМХО, оно не стоит того чтобы изучать. Быстрее будет создать свое «приложение» ВК, и при помощи API уже собирать картинки, всего лишь подставляя в запрос id пользователя, а в ответе — url картинки :) Читайте раздел «разработчикам».

[entaure]

Накрутили… раньше у них точно был один адрес кроме 1 буквы, видимо новая политика… насчет API конечно интересно, только вот такое приложение первым делом попадает в черный список как «шпионящее» и «собирающее приватную инфо»

[Nikita Permin]

Наврядли. Скорее всего — просто попросят ввести капчу :)

Answer 3

[Ocelot]

> как можно заставить программу определять есть ли картинко на странице или нет?
Скачиваете (пока вручную) две страницы: с картинкой и без, и играете в игру «найди 10 отличий». На что можно опираться:
1) HTTP заголовок, точнее код ошибки. Есть шанс, что для невалидного ID сервер вернет 404 или что-то подобное
2) тег <IMG> в нужном месте страницы
3) ключевые слова: «нет изображения», «ошибка» и подобные в теле страницы.

Comments

[entaure]

2) тег в нужном месте страницы

дожили… забыл! спасибо