Как создать постоянное подключение?

Question

[hrvasiliy]

Объясняю, на сайте-доноре есть информация, которая обновляется каждые 5 секунд, эту информацию требуется спарсить. Но если я буду подключаться к сайту каждые 5 секунд, сами понимаете, забанят через 5 минут. Так вот, как же удерживать постоянное подключение парсера к данной странице и стягивать информацию сразу после ее обновления и уже манипулировать ей?

Answer 1

[Сергей Протько]

1) Можно самому разруливать соединение, благо php позволяет вам http клиенты писать. Гуглить по запросу keep-alive. Но вариант сомнительный.

2) не париться и бомбить сервер запросами, закупившись проксями. Просто и надежно.

Comments

[hrvasiliy]

2-й вариант мне нравится)) Только вот для получения данных требуется авторизация) И бан будет по логину) Тут уж никак, видимо, не выкрутишься...

[Сергей Протько]

@hrvasiliy ну у вас от того что будет постоянное соединение с с сервером, всеравно будут в цикле посылаться http запросы, следовательно забанят.

Если страница обновляется раз в 5 секунд реалтаймом (через js) можно просто загрузить ее в phantomjs каком и просто держать. Тогда не будет новых запросов и все будет в рамках "закона".

[hrvasiliy]

@Fesor окей, надо изучить, что это такое:)

[Сергей Протько]

@hrvasiliy это headless браузер. Если вы можете зайти в обычном браузере на страничку, и там данные будут сами по себе обновляться раз в 5 секунд, то тогда точно будет ок.

Хотя можно просто посмотреть откуда данные берутся и забирать напрямую.

[hrvasiliy]

@Fesor Спасибо вам) Столько умных слов, мало чего понимаю, но очень хочу разбираться во всем этом деле... Не много отступлю от основного вопроса, не могли бы вы мне посоветовать, что стоит изучать для того, чтобы хорошо разбираться в веб-программировании? Не знаю, неккоректный вопрос, наверное, но охото писать свои проекты... Можете посоветовать книги? Или же просто указать путь?) Если поконкретнее, то написание своих движков(не для стандартных задач), различные парсеры, вот то, что вы написали выше и т.д. На данные момент знаю HTML, CSS, PHP немного, JS учу.... Вот :)

[Сергей Протько]

@hrvasiliy как учиться именно писать что-то подсказать не могу... я учился методом тыка в свое время. Ну и писал много просто.

Но есть штуки в WEB которые не сильно зависят от языка программирования. Тот же HTTP вам в любом случае придется изучить, как данные передаются (хотя бы примерно), что такое соединение и т.д.

Это все можно и на вики почитать. А там уже по ссылкам бегать.

[hrvasiliy]

@Fesor окей) буду пробовать)

[hrvasiliy]

@DmitryK1 страничка обновляется сама, никаких действий не требуется. Получается мне нужно разобраться с PhantomJS и все?

[Сергей Протько]

@hrvasiliy ну если она сама обновляется, можете:
1) если страничка просто релоадится или во фрейме релоадится, можно просто забить на все ваши загоны так как никто не будет банить за поведение, допускаемое на самом сайте. 1 запрос в 5 секунд это не DDOS.

2) если страничка подгружает данные по ajax, можно посмотреть откуда. что передается, что отдается... если там отдается json какой вообще ништяк, будет проще парсить.

3) если страничка релоадит данные по websockets то да, тогда phantomjs

[Сергей Протько]

@hrvasiliy проверять в дебагере хрома на вкладке network, откуда что и куда шлется.

[hrvasiliy]

@Fesor только что именно мне надо искать? :)

[Сергей Протько]

@hrvasiliy откуда страничка данные берет, в каком виде и т.д. Там есть фильтры, XHR (ajax мол) и websockets. Если ни то и ни другое, можно смело бомбить запросами.

[hrvasiliy]

@Fesor GET и POST передает и получает и не знаю что получает

Answer 2

[Dmitry]

WebSocket, но если нету доступа к сайту-донору - никак.

Comments

[hrvasiliy]

Что вы имеете в виду под доступом? Данные все в открытом виде

[Александр]

@hrvasiliy имеется в виду доступ к управлению "донором". Сокет нужно будет на нём открыть

[Максим Гречушников]

изучите устройство http / tcpip хотя б поверхностно и вопросы отпадут

[hrvasiliy]

Если было бы управление, незачем было бы использовать парсер...Не?

Answer 3

[Павел]

При этическую сторону вопроса, даже никто не упомянул. Сейчас так нормально, в порядке вещей? Хм..
Если все законно, не проще договориться с владельцем сайта и использовать его api?

Comments

[Павел]

Наверно не так сформулировал. Про этическую сторону имелось в виду - дергать почем зря чужой сервер каждые несколько секунд. Мы же дергаем не только инфу из базы, но и всю страницу(речь о парсинге). Следовательно, создаем паразитную нагрузку в целом. Поэтому, если владелец сайта явно не запретил использовать информацию с сайта(отсюда фраза о законности, учитывая, что инфа отдается только зарегистрированным), то проще выйти с ним на контакт лично. Почему то, у нас это не очень принято, а часто даже не приходит в голову.

[Александр Таратин]

@tdstdk раз в 5 сек паразитная нагрузка? вы серьезно?

[Павел]

Ну, если один "дергатель" нет. А если 10000 и дергать чаще? Просто, обычно думают только о своих хотелках и ищут какие то странные пути. Паразитная нагрузка это же не только вредная для сервера(хотя, что за сервер такой), сколько - паразитирущая. Если владелец сайта, почему то отдает информацию (или полную версию) только зарегистрированным, скорее всего это не просто так. Поэтому, логичнее не "дергать" втихоря, а пойти на путь переговоров. Вполне возможно, что из этого получится совместно развитие или новые возможности, идеи. Да и опыт общения с владельцами сайтов "доноров" лишним не будет.