Можно ли парсить сайты?

Question

[siroper]

Собираюсь впервые спарсить проект при помощи библиотеки phpQuery, и тут возникли вопросы, не противозаконно ли это? Не смогут ли они вдруг предъявить какие-либо претензии? Парсинг будет порядка 20'000 страниц одного из топовых сайтов.

Answer 1

[Pavel K]

Доброго дня.
Поисковики ведь тем же самым занимаются. Только не создавайте большой нагрузки, имейте совесть.
Но важно то, что вы дальше будете делать с этой информацией. Сбор статистики или публикация как будто от себя совершенно разные вещи, неговоря уже о всяких авторских правах и т.д.

Answer 2

[АртемЪ]

не противозаконно-ли это?

Нет.

не смогут-ли они вдруг предъявить какие либо претензии?

Смогут. Любой человек может предьявить претензии любому другому человеку.

Парсинг будет порядка 20 000 страниц одного из топовых сайтов.

Единственное что закон регулирует в данных случая это намеренные атаки на ресурсы.
Если вы своими целенаправленными действиями будете мешать работе ресурса это наказуемо.
Старайтесь не нагружать излишне сервер вашими запросами, не отправляйте сразу множество запросов.

Comments

[siroper]

Подскажите, все url страниц я уже спарсил, т.е. у меня есть длинный список из 20000+ url адресов страниц товаров сайта-донора.
Теперь по каждому url я буду проходиться phpquery (Parser::getPage) для получения определенных данных с нее и записи их к себе в БД.

Между каждой функцией Parser::getPage у меня стоит sleep(1) т.е. задержка. Скажите, какую лучше задержку поставить чтобы совсем не нагружать сервер сайта-донора?

[АртемЪ]

siroper, Если в один поток парсите и так нормально.

Answer 3

[Александр Синицын]

Представьте, что вы идете по улице, вас хватают и откачивают литр крови... вы донор или жертва? ))

имхо, донор- это что-то добровольное и осознанное. Всё остальное не законно.

Comments

[maddimas]

Тут другая ситуация. Вы идете по улице с плакатом отдаю кровь всем желающим. Ну обычному желающему нужно 100 мл. А подбегает Дракула и высасывает литр. А вы обижаетесь.

Или терпите или не ходите по улицам с плакатом.

[Александр Синицын]

maddimas, вы видели на сайтах плакаты "Парсите кто хотите!!!"? Фотографии заказывают за деньги у фотографов... статьи, описания за деньги у копирайтеров... и не для того, чтобы какой-то вампир присосался и стал юзать контент у себя. Это делается для покупателей, которые должны вернуть деньги назад магазину с прибылью.

[maddimas]

Александр Синицын, я вот парсю каталоги конкурентов, собираю цены для формирования своей РРЦ по аналогам. Абсолютно нормальный элемент конкуренции.