freeeeez, Кстати частично понял в чём у меня проблема была. Когда я вставлял куки в формате netscape (который curl генерирует), у меня почему то удаляется последняя кука из файла, не знаю почему, а без неё как раз после 3-5 обновлений страницы просто белый экран и последующие запросы блокируются на 5 минут. А если передаю через заголовок внутрь CURLOPT_HTTPHEADER, то работает отлично, могу хоть 50 раз страницу обновить и никаких блоков не прилетает.
Я предполагаю что JS скриптик делают проверку, есть ли такая кука у пользователя, если нету он ему её выдаёт через javascript, после чего снова проверка, если кука есть страница полноценно прогружается, а так-как в curl JS не работает, соответственно эта кука не устанавливается, и вместо полноценной страницы загружается белый экран с одной строчкой обфусцированного js кода.
Я уже тоже планировал раз ничего не получилось с curl, то разбираться сегодня с такими вещами как phantomJS, selenium и т.д и т.п., но пока вроде отлично подходит и способ с ручным копированием куки. Хотя в будущем конечно же, если всё таки мне нужно будет проходить авторизацию скриптом, и нужна будет поддеркжа JS то тоже буду разбираться в headless browser и всех этих селениумах и т.д и т.п.
Скажи пожалуйста, долго разбирался в этих headless browser или там не сложно? =)
Чел, freeeeez, спасибо тебе огромное :D, помог мне сам того не зная!
Не получалось обойти "защиту" и пройти авторизацию на сайте, был белый экран и какой то обфусцированный js скриптик и всё, решил скопировать вручную куки успешной авторизации из браузера, вроде получилось, сперва обрадовался, последующие курл запросы уже были атворизированные, но такая беда, после 3-5 запросов через curl сайт меня блокировал на 5 минут, и потом по кругу, хотя если обновляешь сайт через браузер, то там нету таких жёстких лимитов.
Смотрю у тебя в заголовках передаётся "Cookie", решил тоже попробовать добавить заголовок Cookie и строчку куков из браузера - всё заработало на ура и теперь запросы не блокируются!
Не понимаю почему так, ведь у меня были подключены куки через CURLOPT_COOKIEJAR, CURLOPT_COOKIEFILE.
В итоге вообще закомментировал эти 2 строчки, оставил пока-что только куки через заголовки.
Spartak (Web-StyleStudio), Спасибо за предложение сервиса, тоже недавно смотрел, думал скачать попробовать их бесплатную базу, возможно чуть чуть позже попробую, сравню с данными от ipdata, если разницы не будет то можно будет её использовать.
Просто я чего не захотел скачивать их базу, как я понял бесплатно у них скачивается какая то более не точная, более плохая или устаревшая версия базы. А в этом сервисе через который я сейчас проверяю ipdata, как я понимаю у них даже на бесплатных проверках стоит платная база (хотя это не точно), но количество проверок в сутки ограничено.
N, Да это решение мне по моему должно отлично подойти, спасибо! Просто я чёт не додумался это в какой то файлик например записывать. Мне в голову лезло что угодно - куки, сессии всякие сторонние программы для кэширования только не это :D. Можешь ответить в теме, я помечу ответ как решением вопроса.
FanatPHP, Да, прошу прощения не указал, отправляется получается всегда разный IP, и получается разные значения из массивов. Я имел ввиду адрес одинаковый в смысле сайт к которому обращаюсь один и тот же :D.
Блин, ппц, действительно, очень просто. Просто при каждом заходе нового пользователя буду записывать его IP в БД и тут же проверять, при следующем его заходе на сайт будет проверка есть ли этот IP в БД, если есть то буду высовывать информацию из БД. По моему Мне это более чем подходит.
Спасибо большое за ответ! На счёт трактата прошу прощения :D, в последнее время пробивает меня на кучу текста, не получается коротко писать.
На самом деле мне действительно это нужно, проверять всех и каждый запрос.
Виртуально жму вам руку, спасибо за помощь, мне в голову не пришла эта идея, возможно просто не с кем посоветоваться было или просто спросить. Бывает в чём то вопрос какой то элементарнейший, а ты не можешь до него догнать, другой человек посмотрит и за 5 секунд предложит свою идею и это окажется правильное решение.
Можешь ответить в теме, я помечу ответ как решением вопроса.
N, Спасибо за сервис, но как я понял в нём нету информации об провайдере, а для меня это одно из ключевых вещей для чего я пользуюсь сервисом ipdata. И мне то ли кто то писал, то ли я где то прочитал, (то ли это уже мои домыслы) что ipdata вроде как один из лучших сервисов по предоставлению информации об IP. И на самом деле можно сказать меня устраивает лимит. Можно представить что я платную версию куплю, и лимита не будет.
Просто на самом деле вопрос это не решит, даже если я нашёл бы бесплатный сервис. Потому что есть ещё один сервис к которому я делаю запрос через API, и вот уже его локальных аналогов без обращений к стороннему API не найти, точнее они есть, но они абсолютно не такие качественные как мне нужно.
FanatPHP, Привет Fanat =)
Если честно не на 100% понял. Конкретно обращаюсь к одному и тому же адресу, он "выплёвывает" один, стоп не один, несколько массивов, названия ключей в этих массивах всегда одинаковые "Key1","Key2", а значения массива всегда приходят разные.
P.S. Сервис который выдаёт информацию об IP, страну, город, данные об провайдере и т.д и т.п. (ipdata)
FanatPHP, Как только я вам ответил, сразу же мне "в голову" пришёл этот вариант, точно так же сделал переменную, обозвал её $temp, что дальше сделал правда не помню, но у меня почему то не заработало ничего =D, сейчас ещё раз попробовал, блин, зараза, всё работает =)
Спасибо! По факту это и есть ответ на мой вопрос. Может возьми напиши этот код в ответы, я помечу это как верный ответ.
Та на самом деле это не совсем полноценная БД, то-есть это обычный "одномерный" массив, где хранится много строчек, мне удобней сейчас работать с обычным текстовым файликом, по моему идеально подходит, как я понял разницы в производительности по моему нету и не нужно связываться с какими либо базами данных типа SQL.
Планировал использовать эти "БД" только для чтения, то-есть никак не изменять её через PHP, добавляю записи вручную, поэтому и подумал почему бы не засунуть их в константу, чтобы при обращении в разных функциях, каждый раз не передавать в эти функции кучу разных переменных, по моему удобно. Но все таки понадобилось удалять некоторые строчки в одной БД из нескольких.
+ Уважение вам за то что помогаете людям в вопросах, но часто замечаю у тех кто отвечает на вопросы, что вы любите как это правильнее сказать, язвить или грубить хз какое лучше слово подобрать, вот не нада так! =)
Хотя конечно понимаю что наверное каждый день тонна новичков задают глупые вопросы, и тут наверное хочешь не хочешь а начнёшь грубить/язвить им.
UPD: За поправку с implode тоже спасибо, действительно, он там и не нужен.
UPD2: Хотя стоп, а почему не нужен, всё таки нужен =), если я сохраняю без implode то у меня всё идёт в сплошную строку, а мне нужно чтобы оно записывало всё с новой строки.
UPD3: Блин, ответ на вопрос получается теперь знаю, но применять уже не хочу, так как вы говорите что так лучше не делать "глобальные параметры - это зло", тогда всё таки буду использовать константы только там где железобетонно буду уверен что значение меняться не будет. Пытался на-гуглить на этот счёт, в каких случаях считается правильно использовать константы (кроме очевидных) а в каких лучше отказаться от них, пару запросов разных вбил, по моему так и не нашёл ответ на свой вопрос. Возможно мало вариантов вопроса вбивал.
FanatPHP, На счёт второго абзаца - понял, благодарю =)
Понял, я ещё оказывается хотел записать в файл константу, а значение константы же получается одно и то же было, поэтому для сохранения в файл массива его нужно было куда то временно записать в другое место. Но как - хз.
Я предполагаю что JS скриптик делают проверку, есть ли такая кука у пользователя, если нету он ему её выдаёт через javascript, после чего снова проверка, если кука есть страница полноценно прогружается, а так-как в curl JS не работает, соответственно эта кука не устанавливается, и вместо полноценной страницы загружается белый экран с одной строчкой обфусцированного js кода.
Я уже тоже планировал раз ничего не получилось с curl, то разбираться сегодня с такими вещами как phantomJS, selenium и т.д и т.п., но пока вроде отлично подходит и способ с ручным копированием куки. Хотя в будущем конечно же, если всё таки мне нужно будет проходить авторизацию скриптом, и нужна будет поддеркжа JS то тоже буду разбираться в headless browser и всех этих селениумах и т.д и т.п.
Скажи пожалуйста, долго разбирался в этих headless browser или там не сложно? =)