Какой Язык и какую библиотеку использоваться для Парсера сайта ставок по футболу?

Question

[MefistofelKr]

Хочу написать сервис для себя, чтобы определенные события парсить и находить вилки. Необходимо выбрать язык для парсинга HTML с возможностью скрытия и замены ip сервера. В идеале серверня платформа, на ней делаю на laravel проект, который будет выводить вилки. Парсер должен скрывать свой ip и заносить данные в mysql
Уже есть код на php с библиотекой DiDOM и успешно все работало, на сервере vps все работало и находило вилки, но недавно сетку моего vps заблокировали и теперь сайты не доступны.
Вопрос. Какой парсер умеет работать через проксю, vpn, вывод в Mysql и мимикрировать под браузеры?

Answer 1

[WebDev]

А причем тут язык программирования? Вы через прокси запросы делайте, язык то не важен.
CURL умеет использовать proxy.

Comments

[MefistofelKr]

А умеет ли он эммулировать браузер? чтобы юзер агент можно было менять

[MefistofelKr]

Извините, нашел. CURLOPT_USERAGENT да умеет)

Answer 2

[Rou1997]

Какой парсер умеет работать через проксю, vpn,

Любой.

вывод в Mysql

Это никакой, сами реализуйте.

и мимикрировать под браузеры?

Любой, но потребуется приложить немало усилий чтобы поддержку всех заголовков, кукисов и т.п. реализовать самому на HTTP, возможно для имитации браузера стоит использовать встраиваемый браузер ("движок"), например специально предназначенные Selenium и Phantom.js, и еще вот посмотрите.

Comments

[MefistofelKr]

Я уже второй день гуглю, яхорю и даже в тор поисковики залазил. И много где Фантом js встречается. Вы с Фантом JS работали?

[Rou1997]

MefistofelKr: Работал.

Answer 3

[wscms]

Страницы тянуть через CURL используя список прокси
Для каждой прокси сохранять индивидуальные куки
Стянутые страницы парсить с помощью того же Simple HTML Dom

Answer 4

[Вячеслав Плиско]

Из коробки вам уже доступен guzzle, он поддерживает прокси docs.guzzlephp.org/en/latest/request-options.html
Ну и скорее всего у сайта есть апи где не будет проблем с банами и формат будет не html, свяжитесь с его саппортом.

Comments

[MefistofelKr]

Это сайт ставок) Нету там api