Делал парсер, нужно было получить страницу гугла с результатами поиска. Делал через curl. На локалке все работает хорошо, на моем сервере тоже, а вот вот уже с облачного хостинга заказчика - нет. И дело не в заголовках или юзер-агенте, сколько инфы гуглу не отсылай с куками или без, ему без разницы, ему тупо не нравится ip на котором висит сайт. Из-за того что на нем висят много сайтов в облаке и видимо все шлют запросы к гуглу, он считает это подозрительной активностью и блочик айпишник, редиректя его на страницу с капчей (такое может произойти обычно при использовании vpn в браузере). Я вижу 2 решения этой проблемы: можно использовать прокси, но запросы curl через прокси не отправляются, даже на моем сервере, работает только на локалке, видимо хостеры блокируют исходящие запросы на нестандартные порты. Второй вариант - покупка выделенного ip для сайта который не будет считаться гуглом подозрительным, но зак говорит, что на cloudflare он не может получить приватный ip. Остается один выход, слать запросы через какой-то посторонний "валидный" сервер. Слыть ему запрос, чтобы он парсил страничку гугла и возвращал данные. Соответственно этот сервер должен быть доступен постоянно, если ли какие-то сервисы с подобными услугами? Или что-то еще посоветуете?
Станислав Б, почему он должен стать невалидным? Запросы будут отправляться максимум несколько в день, ничем не отличаясь от обычных поисковых запросов пользователя.
Евгений Вольф, этот парсинг нужен для автозаполнения тэгов по ключевым словам, не уверен что ради этого стоит юзать VPS, по идее парсить ключевые слова можно с других сервисов но зак хочет именно результаты поиска гугла.
Денис Гончаренко, а почему не VPS? Они стоят копейки, тут (на тостере) уже неоднократно поднимался вопрос "дешевых VPS", за 1.5-2$/мес. вполне можно найти VPS'ку, с "чистым" IP и всеми прочими прелестями. Можете сказать заказчику, что в качестве побочного бонуса у него появится персональный прокси для Телеграма :))
Простой
Сложный
