Как в PHP сохранять COOKIES при навигации по сайту для последующих автоматизированных HTTP-запросов?

Question

[Леонид]

Имеется такая задача: пользователь ходит через popup-окно по определенному сайту и в определенный момент нажимает в этом окне кнопку Сохранить cookies - после чего сохраняются COOKIES отданные текущей страницы, на которой пользователь находится в момент нажатия кнопки. Эти COOKIES потом нужны будут для автоматизированных запросов к сайту.

Пока что в голове такой алгоритм:
- через CURL реализовать серфинг в popup-окне по сайту
- COOKIES каждого ответа сохранять временно где-нибудь
- менять ссылки в полученном HTML-коде страницы, чтобы все запросы шли через мой скрипт
- после нажатия кнопки Сохранить cookie пересохранять COOKIES в постоянное хранилище

Может что упускаю? Есть предложения? Какой-нибудь эмулятор браузера?

p.s.: чтобы было понятно зачем мне это всё: разрабатываю закрытую автоматизированную систему мониторинга цен на сайтах, так вот цены надо собирать с сайтов с учетом выбора города (региона) на сайте, а на многих сайтах выборный регион запоминается в COOKIES, потому это мне нужно для создания интерфейса получения COOKIE нужных страниц и сохранения их для последующих автоматизированных запросов.

Answer 1

[Юрий]

при подмене ссылок запросто можно пропустить ссылки в js.
то что вы делаете плохо попахивает, в плане безопасности юзеров. для многих сайтов конечно сработает, но не для всех, особенно там где есть хоть какая то защита (защиты от ddos, проверка ип и тд).

вообще если уж такую хрень делать, то это делается через расширения браузера.
расширения могут сливать ваши куки, пароли и тд, так что они как раз сделаны для ваших целей )

Comments

[Леонид]

Нет, ничего криминального я не делаю, это просто часть интерфейса и функционала закрытой админки автоматизированной системы мониторинга цен на сайтах. Мне просто нужно регионы на сайтах магазинов выбирать для автоматических CURL-запросов, а там нужно оперировать специальными COOKIE-переменными, вот я их таким интерфейсом думаю собирать для удобства управления системой

[Леонид]

А что за расширения - как мне такие расширения в итоге интегрировать в мою систему?

[Юрий]

Леонид: непонял при чем тут тогда пользователи, это все курлом и в консоли можно собрать тогда, без пользователей и браузера.

[Юрий]

Леонид: chrome extensions то же для мозилы. юзер устанавливает приложение в браузер из гугломагазина расширений https://chrome.google.com/webstore/category/extens...
эти расширения могут внедрять в страницы свой код и брать из них разные данные, в том числе куки. на ваш сайт все отправляется через ваше апи.

[Юрий]

Леонид: но вам одного курла должно хватить

[Леонид]

Я делаю интерфейс настройки для админки своей системы. Ну представьте: вам нужно собрать цены по товарам на сайте mvideo.ru по региону Краснодар, если выберете на mvideo.ru Краснодар, обратите внимание что URL не поменяется для следующих запросов, потому что выбранный регион сохранится в COOKIE-переменной: MVID_CITY_ID. Так вот мне эту COOKIE нужно будет пихать в каждый автоматизированный запрос для получения цен по товарам для региона Краснодар на сайте mvideo. Понятно что можно подсмотреть этот COOKIE, и ручками вписать - но у меня таких сайтов сотни и регионом море. А система получения COOKIE для выбранного города была бы отличным спасением.

[Леонид]

Заходишь в админку, настраиваешь импорт цен товаров по региону Краснодар к примеру, открываешь popup-окно, вводишь mvideo.ru выбираешь там Краснодар, далее нажимаешь сохранить COOKIES и всё - система для импорта цен товаров будет в каждый запрос пропихивать эти COOKIES.

[Леонид]

В общем-то, да CURL пока справляется, просто думал может еще что-нибудь эдакое интересное есть для такой задачи )

[Юрий]

Леонид: у вас система любой сайт автоматически парсит без подготовки?
помимо расширений браузера, я иногда делаю bookmarklet при нажатии на который в теукщее окно инджектится мой js скрипт, который уже может сделать что угодно на этом сайте и куки получить и юрл. при этом не сильно важно чтобы сайт был даже в попапе, он может быть открыт в любой вкладке. bookmarklet выглядит как обычная закладка, легко устанавливается просто перетаскиванием на панель закладок.

[Юрий]

но к сожалению куки отмеченные как httpOnly для букмарклета не видны.

[Леонид]

Нет, не любой и не без подготовки. Это специализированная штука под заказчика, так он следит за ценами своих дистрибьютеров. Про bookmarklet - спасибо интересная идея. Я просто изначально не хотел бы обременять заказчика установкой специальных bookmarklet'ов и расширений браузера - но если вдруг CURL не справится на одном из сайтов - буду реализовать этот альтернативный метод.

[Юрий]

Леонид: в том то и дело что bookmarklet никак не обременяет. устанвливается перетаскиванием обычной ссылки на панель закладок. и код выполняется только после нажатия а не когда попало.
то есть все что надо знать юзеру - "добавьте в закладки эту ссылку и нажмите ее когда будете на целевом сайте"

[Юрий]

видел на одном подобном проекте парсинга там по букмарклету открывают поверх сайта полпрозрачный интерфейс их админки. и можно настривать парсинг прямо на целевой странице.

Answer 2

[ReFeRy]

Лично мне более адекватным кажется, кодирование всего перемещения по сайту роботом, вместе с выбором нужного города. Пускай куки сами пишутся, сессия будет в порядке и проверка по рефереру тоже пройдет.

Comments

[Леонид]

Пока что реализовал при помощи CURL, на некоторых моментах спотыкается, естественно нет поддержки эмуляции javascript-ссылок и прочие моменты - но в целом проблему на 80% решает )